Wenn Likes und Shares die Forschung bewerten

11.03.2016

Der Ruf einer Zeitschrift als Erfolgsindikator für wissenschaftliche Publikationen erhält Konkurrenz von "Alternative Metrics". Kann diese neue Messmethode funktionieren? Von Roland Fischer

(Aus "Horizonte" Nr. 108 März 2016)​​​

Was waren die erfolgreichsten Forschungsarbeiten des vergangenen Jahres, also 2015? Die vordergründig harmlose Frage wurde bis vor kurzem schlicht nicht gestellt. Forschung wird zwar schon seit Jahrzehnten akribisch vermessen, aber die Methoden der Impact-Quantifizierer fussten so gut wie immer auf Zitationen, und die sind ein notorisch langsamer Indikator: Es braucht Monate oder Jahre, bis die ersten kommen können.

Doch zum letzten Jahreswechsel tauchten überall Meldungen mit Titeln auf wie "The 10 most-talked about science stories of 2015" oder "Welche Erkenntnisse 2015 in (sozialen) Medien für Wirbel sorgten". Das war kein Zufall: Die Londoner Firma Altmetric hatte zum Jahresende eine Mitteilung mit einer Top-100-Liste verschickt. In Zeiten digitaler Häppchen und Listicles – die Wortschöpfung vereint Liste und Artikel – war diese Wissenschafts-Hitparade bei Medienschaffenden sehr willkommen.

Ebola, Banken, und 3D-Druck

Das Schweizer Best-of-Altmetric 2014/15 reflektiert den Trend bei den populären Themen. Klar dominant sind biomedizinische Felder, die Physik kommt auch noch in die Kränze. Alle anderen Disziplinen rangieren unter ferner liefen. Eine Ausnahme bestätigt die Regel: Platz 3 im kumulierten Ranking geht an "Business culture and dishonesty in the banking industry" aus Ernst Fehrs Forschungsgruppe – aus zeitgeistig naheliegenden Gründen.

Auffällig ist: Der Impact Factor gilt auch hier. In den oberen Chart- Regionen sind vornehmlich Artikel aus Top-Journals wie Nature und Science – wenig überraschend, da diese sehr viel Pressearbeit betreiben. Interessant sind die Unterschiede zwischen den verschiedenen Kanälen, die in der detaillierten Analyse online ersichtlich sind. Vor allem auf Facebook schaffen es auch weniger prominente Publikationen an die Spitze. Top-Paper ist hier "No scientific consensus on GMO safety" der ETH-Forscherin Angelika Hilbeck, eine Arbeit zum Thema Genmodifikation. Es folgen Arbeiten zu Ebola und Frühgeschichte, aber auch Tipps, wie man ein PhD zu Ende bringt. Hier mischen sich Laien- und Expertendiskussion wohl am stärksten, während auf Twitter eine Nerd-Arbeit das allgemeine Schema bricht: "Open Labware: 3-D Printing Your Own Lab Equipment."

Kathrin Altwegg – sie hat mit ihrem Paper zum Sauerstofffund auf dem Kometen Tschuri einen Hit geliefert – hat von Alternative Metrics das erste Mal gehört, als sie über den Erfolg benachrichtigt wurde. Sie habe ein wenig lachen müssen, freue sich aber, dass ihre Arbeit über die engen Grenzen des eigenen Fachgebiets Aufmerksamkeit bekommen habe – das sei durchaus befruchtend. Michel Milinkovitch, der mit einer Arbeit zum Farbwechsel des Chamäleons auf dem Platz hinter Altwegg gelandet ist, kannte Altmetrics schon länger. Und doch war er überrascht, wie gut sich sein Paper verbreitet hat. "Es freut mich natürlich, wenn meine Resultate eine breite Öffentlichkeit finden." Aber seine Hauptaufgabe sei es, gute Wissenschaft zu produzieren.

Methode:

Die Analyse berücksichtigt die zwischen Juli 2014 und Juni 2015 erschienenen Artikel, an denen mindestens eine Schweizer Institution mitarbeitete.

Die Londoner sind die derzeit erfolgreichsten Anbieter von sogenannten Alternative Metrics, kurz: Altmetrics – der Begriff, der der Firma ihren Namen gibt. Diese addieren nicht Zitationen, sondern allerlei andere frei verfügbare Erfolgsindikatoren von Forschungsartikeln, vor allem aus verschiedenen sozialen Netzwerken: Anzahl Downloads, Tweets, Facebook-Einträge, Blog Posts sowie Medienberichte.

Alternative Metrics haben den Anspruch, einerseits den wissenschaftlichen und gesellschaftlichen Impact einer Forschungsarbeit genauer und umfassender zu messen. Andererseits sollen sie den Erfolg einer Forschungsarbeit auch rascher aufzeigen, weil sich beispielsweise eine Twitter-Diskussion um eine neue Publikation viel schneller entspinnt, als dies in Fachjournalen möglich ist.

Digitale Presseschau

Damit nicht genug: Womöglich könnten Altmetrics nicht nur eine Alternative zu den etablierten Indikatoren wie der Anzahl Zitationen und dem Impact Factor bieten, sondern auch das strapazierte Peer-Review-System entlasten. In einem Manifest von 2010 behaupteten die Vordenker der Alternative-Metrics-Bewegung um den Informationswissenschaftler Jason Priem keck: "With altmetrics, we can crowdsource peer-review." Die Idee: In den sozialen Netzwerken wird von einer grossen Schar von Laien, aber eben auch von einer stattlichen Zahl Kollegen per Click und Share entschieden, ob eine Forschungsarbeit von Interesse ist. Diese Clicks könnten, richtig ausgewertet und analysiert, so etwas sein wie ein implizites Peer- Review-Verfahren.

Der Ansatz ist interessant: Es gibt zu jeder Forschungsarbeit tatsächlich viel mehr Peers als die wenigen Auserwählten, die heute ihr Urteil abgeben. Wenn man sie alle in die Qualitätskontrolle miteinbeziehen könnte, würde die Peer-Review-Idee gleichzeitig effizienter und weniger fehleranfällig. Tatsache ist, dass Wissenschaftler sehr aktiv sind auf Social-Media-Kanälen. Vor allem Twitter ist bei Forschern beliebt: Eine Umfrage unter Mitgliedern der American Association for the Advancement of Science (AAAS) Anfang 2015 ergab, dass 47 Prozent Social Media nutzten, um sich über Forschung zu informieren oder Ergebnisse zu diskutieren.

Euan Adie, der Chef von Altmetric, sagt dazu: "Auf Blogs und ähnlichen Kanälen wird heute schon kritisch über wissenschaftliche Publikationen diskutiert. Hier könnte sich ein neues System etablieren, das qualitativ minderwertige Forschung besser identifizieren kann." Er sagt aber auch: "Altmetrics sind komplementär zu Zitationsanalyse und Peer-Review. Ich sehe derzeit nicht, wie sie die alten Methoden ersetzen könnten."

Adie hat eher vor Augen, einen Impact zu dokumentieren, der über die wissenschaftliche Sphäre hinausgeht – eine Art digitale Presseschau. "Unser Index misst, wie viel Aufmerksamkeit ein Paper bekommen hat, er ist kein Indikator für Qualität", sagt Adie. Das findet auch die Informationswissenschaftlerin Stefanie Haustein von der Universität Montreal, die sich seit einigen Jahren intensiv mit Altmetrics befasst: "Im Moment messen Altmetrics überhaupt keine Forschungsqualität." Und sie legt gleich noch eine ketzerische Bemerkung nach: Social Media gleich Social Impact – das stimme so simpel eben auch nicht. Damit hinterfragt sie die Behauptung, Alternative Metrics würden auf elegante Art den gesellschaftlichen Einfluss eines Papers messen.

Konkurrenz der Messwerte

Es stellt sich also die Grundsatzfrage, was Altmetrics denn überhaupt messen: eine relevante oder einfach eine leicht zugängliche und automatisch auswertbare Grösse? Durch die DORA-Initiative von 2013, die das Misstrauen gegenüber dem klassischen Impact Factor als Indikator manifest gemacht hat, ist forschungspolitisch einiges in Bewegung geraten. Das Resultat scheint aber keine Abkehr von quantitativen Bewertungssystemen zu sein, sondern eine Hinwendung zu komplexeren Methoden, zum Beispiel eben Altmetrics. Ein englischer Bericht zur Lage der Wissenschaftsevaluation hat 2015 schon im Titel von einer "Metric Tide" gesprochen.

Die Entscheidung, nach welchen Kriterien und Methoden die Qualität und der Impact der Forschung bewertet werden, dürfte in Zukunft für die Forschergemeinde eher komplizierter werden. Und auch für die Forschungspolitik. Denn metrische Methoden sind nie einfach objektive Indikatoren, sondern immer auch politische Hebel: Sie bilden Anreizsysteme, die die Forschungslandschaft auf subtile Weise umgestalten können. Sollte Forschung wirklich auf Social-Media-Kanälen sichtbar sein? Was spricht dagegen, dass viele Forschungsergebnisse von hoher Qualität für den hektischen Social-Media-Alltag eher wenig taugen? Methode: Die Analyse berücksichtigt die zwischen Juli 2014 und Juni 2015 erschienenen Artikel, an denen mindestens eine Schweizer Institution mitarbeitete.

Stefanie Haustein hat in einer jüngeren Publikation jedenfalls einige Fragen zu Relevanz und Robustheit der neuen Messverfahren aufgeworfen: Die Arbeit hat gezeigt, dass die Präsenz von wissenschaftlichen Publikationen auf digitalen Kanälen eher niedrig ist – immerhin 21,5 Prozent der Paper bekommen einen Tweet, weniger als 5 Prozent werden auf Facebook geteilt und bloss 2 Prozent in Blogs erwähnt. Demgegenüber stehen 66,8 Prozent, die mindestens einmal im traditionellen Sinn zitiert werden.

Noch stellen die neuen Methoden weitgehend eine metrische Black Box dar. Es braucht mehr Untersuchungen, um überhaupt zu verstehen, was hier gemessen wird und wie sich die alten Indikatoren zu den neuen verhalten – insbesondere zur Gretchenfrage, ob Altmetrics substituierend oder ergänzend zu verwenden sind.

 

Roland Fischer ist Wissenschaftsjournalist in Bern.

​​Ausführliche Daten

www.snf.ch/Ho_altmetrics