Medizin-Papers im Zwielicht

15.05.2014

Dieses Bild zeigt den Epidemiologen John Ioannidis © Severin Nowacki

Die Forschungsförderung sollte weniger Wert auf Resultate legen und vermehrt darauf bestehen, dass Forschende ihre Daten der Allgemeinheit verfügbar machen, sagt der Epidemiologe John Ioannidis. Von Ori Schipper

​Herr Ioannidis, Sie haben an Ihrem Auftritt im Schweizerischen Nationalfonds kein gutes Haar am Wissenschaftssystem gelassen. Steckt es in der Krise?

So generell lässt sich das nicht sagen. Die Wissenschaft ist produktiver denn je, doch sie leidet an einem Glaubwürdigkeitsproblem. Viele veröffentlichte Resultate stimmen nicht. Um willentliche Fälschungen geht es nur selten, viel öfter geht es um fehlerhafte Versuchsanordnungen und unzulässige statistische Aussagen. Von diesem Problem sind nicht alle wissenschaftlichen Disziplinen gleich stark betroffen, jeder Forschende sollte wissen, wie es um sein Gebiet steht. Einige Disziplinen haben Verbesserungen in der Überprüfung von Forschungsergebnissen eingeführt und produzieren nun glaubwürdige und nützliche Resultate. Andere Disziplinen sind mit der Qualitätskontrolle weniger weit. Doch wer seine Ergebnisse nicht überprüft, kann nicht wissen, ob sie richtig sind oder nicht.

Wie sind Sie als Forschender dazu gekommen, das System, an dem Sie mitwirken, in Frage zu stellen?

Es geht mir nicht darum, das Wissenschaftssystem in Frage zu stellen. Ich bin einfach nur auf Probleme und Fehler gestossen, die sowohl in meiner Arbeit als auch in derjenigen von Kollegen weit verbreitet sind. Die meisten der im biomedizinischen Bereich als statistisch signifikant ausgewiesenen Ergebnisse sind entweder übertrieben dargestellt oder schlicht falsch. Verschiedenen Hormon- oder Vitaminzusätzen in der Nahrung wurden etwa heilende oder vor Krebs schützende Wirkungen zugeschrieben. Diese Behauptungen haben einer Überprüfung durch grössere Studien nicht standgehalten. So habe ich angefangen, empirische Evaluationen durchzuführen und zu schauen, welche Resultate wie entstehen, ob sie überprüft werden und, falls ja, ob die Wiederholungen der Versuche zu denselben Ergebnissen gelangen oder nicht. Ich übe keine grundsätzliche Kritik, sondern möchte aufzeigen, wo Probleme vorliegen und wie sie behoben werden können.

Diese Probleme betreffen aber auch viele andere Forschende. Sind Sie einfach mutiger oder hartnäckiger als die anderen, dass Sie darüber sprechen?

Nein, ich glaube, das hat nicht mit Mut, sondern eher mit meinen Forschungsvorlieben zu tun. So wie sich andere für den Vogelflug oder Trennungsängste interessieren, faszinieren mich Fragen über die Forschung. Ich bin offen für Diskussionen und habe mit über 2000 anderen Wissenschaftlern zusammengearbeitet. Dabei bin ich mir bewusst, dass auch in meinen Arbeiten Fehler schlummern.

Ihrer Meinung nach sollten die Forschungsfördererorganisationen weniger spektakuläre Resultate erwarten. Rufen Sie zu mehr Bescheidenheit auf?

Ja. Auch wenn wir alle an grossen Entdeckungen interessiert sind: Sie lassen sich nicht erzwingen. Natürlich gibt es immer wieder Durchbrüche, und wenn die Versuche gut geplant und korrekt durchgeführt worden sind, steigen die Chancen, dass es sich um echte Entdeckungen handelt. Aber wenn Forschende riskieren, dass sie nicht gefördert werden, wenn sie keine wichtigen Ergebnisse versprechen, besteht das Risiko, dass sie auch wenig bedeutende Resultate als grosse Funde ausweisen. Forschungsförderer sollten deshalb weniger Wert auf die erwarteten Resultate legen, sondern mehr auf rigorose Methoden und eine hohe Qualität der Forschung. Sie sollten auch darauf bestehen, dass die Wissenschaftler ihre während der Versuche entstandenen Daten öffentlich zugänglich und verfügbar machen.

Es liegt doch in der menschlichen Natur zu glauben, was man tue oder fördere, sei wichtig und nützlich.

Mag sein, aber das System müsste es Wissenschaftlern erlauben zu sagen: «Ich habe gewissenhaft und hart gearbeitet, trotzdem ist in den letzten Jahren nichts Nützliches und Anwendbares dabei herausgekommen.» Meiner Meinung ist das sehr ehrlich, und wer so etwas sagt, sollte nicht wegen ausbleibender spektakulärer Ergebnisse benachteiligt werden, solang er seine Arbeit gut und korrekt durchgeführt hat.

Sehen Sie Anzeichen dafür, dass sich das Wissenschaftssystem in eine ehrlichere Richtung entwickelt?

Es gibt Grund zur Hoffnung. Dass Ehrlichkeit am längsten währt, leuchtet wohl den meisten Forschenden ein. Trotzdem stehen sie natürlich weiterhin unter einem grossen Konkurrenzdruck und müssen sich mit ihren Arbeiten behaupten. Die Wichtigkeit ihrer Beiträge sollte aber weniger an den Resultaten, sondern an Kriterien wie etwa guter Versuchsplanung und Reproduzierbarkeit gemessen werden, die den Kern des wissenschaftlichen Bestrebens ausmachen.

Weltweit wird immer mehr publiziert, deshalb wird es zunehmend schwieriger, die Qualität der Forschung flächendeckend zu prüfen.

Das stimmt. Mich beunruhigt aber nicht, dass es mehr Veröffentlichungen gibt. Das ist eigentlich gut so, die wissenschaftliche Produktivität soll nicht schrumpfen. Das Problem besteht darin, dass sich publizierte Fehler fortpflanzen können. Beispielsweise erschienen vor zehn Jahren in Europa und den USA erste Studien,
die nach Krankheitsmerkmalen im Erbgut suchten und bestimmte Gene mit Rauchen, Depression, Fettsucht oder Asthma in Zusammenhang brachten. Nur ein Prozent der Befunde wurde später in grösseren Studien bestätigt. Doch heute stammen 60 Prozent der Beiträge der Literatur zu genetischen Meta-Analysen aus China, die fast alle wertlos sind, weil sie dieselben Fehler machen, die anfangs auch wir in Europa und den USA gemacht haben.

Wenn sich Fehler fortpflanzen, vermehren sie sich mit der Zeit. Funktioniert die Selbstkorrektur der Wissenschaft nicht mehr?

Sie funktioniert, die Frage ist nur, wie schnell. Früher dachten wir, die Sonne kreise um die Erde. Wir brauchten 2000 Jahre, um diese falsche Vorstellung richtigzustellen.
Aber heute ist es problematisch, wenn es zwei Jahre dauert, bis ein Fehler entdeckt und korrigiert wird, weil es viel mehr Wissenschaftler gibt, die mehr forschen und publizieren als je zuvor und sich dabei auf die – zumindest teilweise falschen – Arbeiten ihrer Vorgänger und Kollegen stützen. Mein Hauptanliegen ist es, die Selbstkorrektur des Wissenschaftssystems zu beschleunigen. Das geht nur mit einer raschen unabhängigen Überprüfung der Ergebnisse. Auf vielen Gebieten ist die Selbstkorrektur noch nicht effizient genug. Manche Disziplinen, etwa die Psychologie, waren bis vor kurzem nicht einmal um die Reproduzierbarkeit ihrer Resultate besorgt. Sie haben erst kürzlich begonnen, wichtige Versuche zu wiederholen.

Mögen Sie Don Quijote?

Ja, er ist eine wunderbare literarische Figur. Ich glaube aber nicht, dass er mir als Vorbild dient, um Veränderungen und Verbesserungen einzuleiten. Ich versuche, realistisch zu sein, und sehe ein grosses Optimierungspotenzial, auf das ich hinweise. Eigentlich sind alle Wissenschaftler eine Art von Don Quijote: Wir verfolgen wie er bestimmte Ideen und sind gewillt, für sie zu kämpfen. Aber vielleicht sollte dieser Kampf weniger oft der Verteidigung unserer Ideen dienen, sondern öfter dazu, dass unsere Ideen so nah, exakt und fehlerfrei wie möglich an die Wahrheit und die Realität kommen. Was immer diese Realität ist, wir sollten versuchen, sie besser zu verstehen.

(Aus "Horizonte" Nr. 100, März 2014)


 

Kontakt
Abt. Kommunikation
E-mail com@snf.ch