Die Peer Review wird revidiert

03.09.2015

Online-Diskussionen, Transparenz, Credits für Experten: Die Wissenschaftsgemeinschaft versucht mit neuen Modellen das Peer-Review-Verfahren zu verbessern. Von Sven Titz

(Aus "Horizonte" Nr. 106, September 2015)
Bild: © Keystone / Cultura / ISTL / Max Bailen

Krebs lässt sich jetzt mit einer chemischen Substanz aus Flechten bekämpfen. Das war das Resultat einer Studie, die der Wissenschaftsjournalist John Bohannon vor zwei Jahren unter einem Decknamen bei 304 Journalen einreichte. Mehr als die Hälfte akzeptierten die Arbeit zur Publikation. Im Oktober 2013 verriet Bohannon in der Zeitschrift Science: Es war ein «spoof paper» – eine erfundene Studie, um Journale blosszustellen. Die Peer Review hatte zu weiten Teilen versagt.

Klagen über Mängel der Peer Review sind so alt wie das Verfahren selbst. Fälschungen werden übersehen, originelle Arbeiten abgelehnt und mangelhafte akzeptiert. Manche Gutachter lassen Vorurteilen gegenüber der Herkunft oder dem Geschlecht der Autorinnen und Autoren freien Lauf. Nicht zuletzt raubt die oft langwierige Peer Review kostbare Zeit. Nun versprechen mehrere neue Modelle und Trends Abhilfe oder zumindest Linderung.

Die Digitalisierung hat einen ganzen Zoo an Modellen für eine transparente, diskursive Begutachtungskultur möglich gemacht: Die traditionellerweise anonyme Peer Review kann heute auch mit Absender versehen werden, und zunehmend werden neue, interaktive Formen der Diskussion innerhalb des Publikationsprozesses erprobt.

Heilsame Diskussionen

Ein typisches Beispiel für diese Entwicklung ist die Open-Access-Zeitschrift Atmospheric Chemistry and Physics (ACP). Der Publikationsprozess von ACP hat zwei Stufen. Zunächst werden eingereichte Studien knapp auf Plausibilität geprüft und umgehend im Forum ACP Discussions online gestellt. An der anschliessenden öffentlichen Debatte können sich neben den regulären Fachgutachtern auch andere interessierte Wissenschaftler beteiligen, wenn sie sich online registrieren.

Die Antworten der Autoren werden ebenfalls gleich veröffentlicht. Die Fachgutachter berücksichtigen die gesamte entstehende Diskussion. Übersteht die Studie diese Begutachtung, wird sie auf die zweite Stufe gehoben und als «Final Paper» im eigentlichen Journal publiziert.

Durch den offenen Begutachtungsprozess schlage man mehrere Fliegen mit einer Klappe, erläutert der leitende Redaktor Ulrich Pöschl. Der Österreicher ist am Max-Planck-Institut für Chemie in Mainz tätig. Neue Erkenntnisse werden nicht
durch eine zähe, womöglich mehrmalige Peer Review ausgebremst, sondern gelangen mit den Discussion Papers gleich in den Blutkreislauf der Wissenschaft. Die anschliessende interaktive Peer Review adelt die qualitativ höherwertigen Final Papers. Der wichtigste Punkt ist für Pöschl jedoch die Postevaluation. Neue Kennzahlen, etwa zur Häufigkeit des Downloads oder der Kommentierung von Artikeln, seien ein echter Durchbruch zu einer besseren Qualitätssicherung, meint er. Diese neuen Messgrössen erlaubten es, in Konkurrenz zur bekannten Artikel-Datenbank Science Citation Index zu treten.

Inzwischen sind unter den Fittichen der European Geosciences Union 15 Journale mit einem ähnlichen Modell wie ACP entstanden, sagt Pöschl. «Es wird sich zeigen, was sich im Wettbewerb durchsetzt», sagt er mit Blick auf andere Journale.

Transparenz hat Tücken

Bisher arbeiten nur wenige Zeitschriften mit offener Peer Review. Gerade die Geistes- und Sozialwissenschaften ziehen die anonyme Begutachtung vor. «Die Tendenz, mehr Transparenz zu schaffen, ist aber weit verbreitet», sagt der Schweizer Wissenschaftssoziologe Martin Reinhart, Professor an der Humboldt-Universität Berlin und Mitarbeiter am Institut für Forschungsinformation und Qualitätssicherung. Er sieht das nicht nur positiv: Transparenz erhöhe nicht automatisch die Qualität. Bei gegenseitiger Abhängigkeit von Gutachtern und Studienautoren drohe notwendige Kritik auszubleiben, darum solle auch die anonyme Begutachtung ihre Berechtigung behalten. Reinhart spricht sich im Sinne der Wissenschaft für eine grosse Vielfalt bei den Peer-Review-Systemen aus.

Nicht nur die Herausgeber von Zeitschriften probieren neue Peer-Review-Modelle aus, sondern auch unabhängige Firmen. Das finnische Startup-Unternehmen Peerage of Science beispielsweise bietet Journalen an, den Peer-Review-Prozess zu
übernehmen. Eine wichtige Eigenschaft ihres Systems sei das «Open Engagement», erklärt Janne Seppänen, einer der Gründer von Peerage of Science. Identität und Kompetenz der Gutachter werden zu Beginn einmal geprüft. Anschliessend können sich diese frei zur Begutachtung eingereichter Studien entscheiden – sie werden also nicht von Redaktoren für einzelne Studien ausgewählt. Ausserdem werden die Gutachten selbst bewertet. «Es ist natürlich wichtig sicherzustellen, dass diese Bewertung nicht von der Entscheidung über die Studie abhängt», sagt Seppänen.

Auf der Website PubPeer werden Studien gelegentlich scharf kritisiert.

Derzeit beteiligen sich 20 Zeitschriften, vorwiegend aus den Biowissenschaften, an diesem Modell. Als Gegenleistung erhalten sie Zugang zu einem Pool bereits begutachteter Studien; begrenzten Zugang zum Pool haben auch alle Journale des Springer-Verlags. Bekommen die Autoren einer Studie das Angebot eines Journals zur Publikation, können sie ablehnen oder zustimmen. Dass mehrere Journale Zugang zum Pool haben, kann für die Autoren die Chance vergrössern, publiziert zu werden. Ausserdem vermeiden sie auf diese Weise, dass ihre Studie mehrere Runden der Peer Review durchlaufen muss – und womöglich wiederholt beim selben Gutachter landet. Bezahlen müssen die Journale erst, sobald sie eine Studie akzeptieren.

Das Modell von Peerage of Science verringert den Bedarf an Gutachten. Dasselbe Ziel kann auch anders erreicht werden. Da Studien oft aus formalen Gründen abgelehnt werden – etwa weil ein Artikel zu lang ist oder der Fokus der Zeitschrift nicht passt –, geben manche Journale nach einer Ablehnung die Gutachten an ähnliche Journale weiter. So praktiziert es das Neuroscience Peer Review Consortium, ein Verbund von neurowissenschaftlichen Zeitschriften, seit 2007 mit Erfolg. Nach einer Schätzung transferiert der Verbund pro Jahr rund 200 Gutachten zwischen verschiedenen Zeitschriften.

Nach der Review ist vor der Review

Neben den Versuchen, die klassische Begutachtung zu reformieren, gibt es immer mehr Experimente mit einer Art Peer Review nach der Veröffentlichung. Auf der Website PubPeer tauschen sich zum Beispiel Wissenschaftler über den Wert von
Studien aus. «Da finden sehr interessante Diskussionen über die Zuverlässigkeit der Forschung statt», hat der Wissenschaftssoziologe Reinhart beobachtet. Bis anhin hätten die oft hinter verschlossenen Türen stattgefunden. Natürlich können solche Diskussionen auch aus dem Ruder laufen: Eine öffentliche Plattform kann im Prinzip zur Diskreditierung genutzt werden, zumal PubPeer die Kommentierenden nicht zwingt, ihre Namen zu nennen. Reinhart hat aber den Eindruck, die Forschergemeinde regle dieses Problem selbst.

Während bei PubPeer Studien gelegentlich scharf kritisiert werden, geht es auf der Plattform Faculty of 1000 (F1000) weniger kontrovers zu. Sie bietet Lebenswissenschaftlern unter anderem einen Auswahldienst an: Herausragende Artikel werden von einer fiktiven, aus Tausenden Experten bestehenden Fakultät auf der Plattform empfohlen. Diese zweite Stufe der Peer Review soll garantieren, dass wichtige Studien in der Publikationsflut nicht untergehen.

Was nützt’s dem Gutachter?

Eines haben die neuen Varianten gemeinsam: Peer Review ist nach wie vor auf die Mitwirkung der Fachgemeinschaft angewiesen. Weil mit der Digitalisierung die Zahl der Journale gewachsen ist, holen sich Redaktoren jedoch immer öfter eine
Abfuhr, wenn sie einen Forscher um ein Gutachten bitten. Das liegt auch an der geringen Anerkennung.

Im Prinzip profitiere jeder wissenschaftliche Autor von seinen Peers und sollte das irgendwann zurückgeben, sagt Erik von Elm vom Institut für Sozial- und Präventivmedizin der Universität Lausanne.

Einige verhielten sich aber unsolidarisch und verweigerten die Tätigkeit der Begutachtung. Darum brauche es Anreize: «Was noch fehlt, ist, dass die Tätigkeit als Gutachter im System zählt.» Bisher seien für das Fortkommen nur die Publikationen entscheidend.

«Es ist bekannt, dass das System Schwächen hat. Ein besseres ist aber noch nicht erfunden.» Erik von Elm

In der Medizin sei das Problem zum Teil schon gelöst, sagt Ana Marusic, Professorin an der School of Medicine der Universität von Split und Vorstandsmitglied der European Association of Science Editors. Für Gutachten werden sogenannte CME-Punkte (Continuing Medical Education) gutgeschrieben. Von denen müssen Mediziner pro Jahr eine bestimmte Menge sammeln, um ihre Lizenz zu behalten. In vielen andern wissenschaftlichen Disziplinen fehlt ein vergleichbares System.

Womöglich können das andere Initiativen auffangen. Einige Journale veröffentlichen einmal im Jahr eine Liste der besten Reviewer. Elsevier zeichnet herausragende Gutachter durch Zertifikate aus. Und die Reviews, die auf der Plattform F1000 erscheinen, werden neuerdings mit der Kennmarke der Open Researcher & Contributor Identification Initiative (ORCID) verknüpft. So gerät die Leistung nicht in Vergessenheit. Woran es ausserdem mangelt, ist die Ausbildung zur Begutachtung. Junge Wissenschaftler werden oft ins kalte Wasser geworfen und schreiben ihre erste Review ohne jede Anleitung. «Es gibt an der Uni zwar Pflichtkurse für die Lehre, nicht aber für die Peer Review», kritisiert von Elm. Initiativen zur Behebung dieses Mangels sind noch rar. Im Grunde sei die Peer Review wie eine Demokratie, sagt von Elm: Dass das System Schwächen habe, sei bekannt – ein besseres sei aber noch nicht erfunden worden.

Publizieren auf verschiedenen Ebenen

Nicht zuletzt wegen der Schwierigkeiten mit der Peer Review sind Forscher in einigen Fächern längst dazu übergegangen, ihre Studien frühzeitig auf offenen Publikationsservern zur Verfügung zu stellen. Seit 1991 zeigt der Server arXiv.org für Physik, Mathematik und Datenanalyse sowie seit 2013 bioRxiv.org für Biologie, dass Forscher die begutachtungsfreie Publikation eifrig nutzen – in erster Linie gewiss wegen der Schnelligkeit des Informationsaustauschs. Viele der archivierten Studien werden aber später in begutachteten Journalen publiziert.

Gemäss Pöschl zeichnet sich bereits heute ab, dass es in Zukunft im Prinzip drei Stufen der wissenschaftlichen Publikation geben wird: erstens Publikationsserver ohne jede Peer Review wie arXiv.org; zweitens Open-Access-Fachzeitschriften wie zum Beispiel BMC Medicine oder ACP, die sich durch Transparenz und eine Diskussionskultur auszeichnen; drittens interdisziplinäre Spitzenmagazine wie Nature und Science, die womöglich nur noch als Schaufenster dienen, um für die Öffentlichkeit besonders relevante Studien zu präsentieren. Letztlich komme es auf die Vielfalt der Publikationsmodelle an, sagt Pöschl, denn sie erfüllten verschiedene Aufgaben und ergänzten einander.

Der Wissenschaftsjournalist Sven Titz lebt in Berlin und schreibt regelmässig für die NZZ, den Tagesspiegel und Welt der Physik.