Chercheurs, soyez plus modestes

John Ioannidis, lors de votre allocution devant le Conseil national de la recherche, vous avez critiqué le système scientifique. Est-il en crise?

On ne peut pas généraliser. La science est plus productive que jamais, mais elle souffre d’un problème de crédibilité. De nombreux résultats publiés sont faux. Il s’agit rarement de falsifications délibérées, mais souvent de modalités d’expérience incorrectes et d’évaluations statistiques irrecevables. Les disciplines scientifiques ne sont pas toutes affectées dans la même mesure, et chaque chercheur devrait savoir où en est son domaine. Certaines ont introduit des améliorations au niveau de la vérification de leurs résultats de recherche, et ceux qu’elles produisent à présent sont crédibles et utiles. D’autres sont moins avancées. Or, si un chercheur ne vérifie pas ses résultats, il ignore s’ils sont corrects ou non.

Comment en êtes-vous venu à remettre en question le système auquel vous participez?

Mon objectif n’est pas de remettre le système scientifique en question. Je suis simplement tombé sur des problèmes et des erreurs qui sont largement répandus, aussi bien dans mon travail que chez des collègues. Dans le domaine biomédical, la plupart des résultats présentés comme statistiquement significatifs sont soit exagérés soit carrément faux. Des effets curatifs ou onco-protecteurs ont été attribués à des suppléments hormonaux ou à des compléments alimentaires vitaminés. Ces affirmations n’ont pas résisté à un examen dans de plus grandes études. C’est ainsi que j’ai commencé à mener des évaluations empiriques et à vérifier la façon dont tels ou tels résultats avaient été obtenus, s’ils avaient été vérifiés et, le cas échéant, si la répétition des essais avait donné les mêmes ou non. Je n’exerce pas de critique fondamentale, je cherche à montrer où il y a des problèmes et qu’ils peuvent être résolus.

Mais beaucoup d’autres chercheurs sont concernés. Si vous parlez de ces problèmes, c’est parce que vous êtes plus courageux ou plus opiniâtre?

Je ne pense pas que ce soit dû à du courage. Cela vient plutôt de mes préférences de chercheur. Certains s’intéressent au vol des oiseaux ou aux angoisses de séparation, moi, je suis fasciné par les questions qui touchent à la recherche. Je suis ouvert aux discussions et j’ai collaboré avec plus de 2000 scientifiques. Tout en étant conscient que des erreurs se dissimulent aussi dans mes travaux.

Pour vous, les organisations d’encouragement de la recherche devraient moins attendre des résultats spectaculaires. En appelez-vous à davantage de modestie?

Oui. Même si nous sommes intéressés par les grandes découvertes, on ne peut pas les forcer. Des percées se produisent régulièrement, et quand les essais ont été bien planifiés et correctement exécutés, les chances augmentent d’avoir affaire à de véritables découvertes. Mais lorsque les chercheurs risquent de ne pas toucher de subsides s’ils ne promettent pas des succès importants, on peut redouter de les voir présenter des résultats peu significatifs, comme s’il s’agissait de grandes découvertes. Les responsables de l’encouragement de la recherche devraient donc moins s’attacher aux résultats attendus qu’à la rigueur méthodologique et à la qualité de la recherche. Et insister pour que les données issues des essais soient accessibles au public.

Cependant, considérer ce qu’on fait comme important et utile est inhérent à la nature humaine …

C’est possible, mais le système devrait permettre aux chercheurs de dire: "J’ai travaillé dur et consciencieusement. Au cours des dernières années, cela n’a toutefois rien donné d’utile ou d’utilisable." Ce serait très honnête, et un chercheur qui le reconnaît ne devrait pas être désavantagé parce que les résultats spectaculaires ne sont pas au rendez-vous. Tant qu’il fait bien et correctement son travail.

Le système scientifique évolue-t-il vers davantage d’honnêteté?

Il y a des raisons d’espérer. Il est évident, pour la plupart des chercheurs, que l’honnêteté est ce qu’il y a de plus durable. Néanmoins, ils subissent la pression de la concurrence et sont appelés à s’affirmer avec leurs travaux. L’importance de leurs contributions devrait être moins mesurée à l’aune de leurs résultats qu’en fonction de critères tels que la qualité de la planification de l’expérience et sa reproductibilité, qui sont au coeur de l’effort scientifique.

De par le monde, on publie toujours davantage, et il est de plus en plus difficile de contrôler la qualité de la recherche à grande échelle.

C’est vrai. Mais le fait qu’il y ait toujours davantage de publications ne m’inquiète pas. C’est une bonne chose, et il ne faut pas que la productivité scientifique diminue. Le problème réside dans le constat que des erreurs publiées puissent se propagent. Il
y a dix ans, on a réalisé en Europe et aux Etats-Unis les premières études cherchant
à mettre en évidence des caractéristiques pathologiques dans le génome; elles ont
établi une relation entre certains gènes et le tabagisme, la dépression, l’obésité ou
l’asthme. Or, seul 1% de ces résultats a été confirmé par la suite dans de plus vastes
études. Aujourd’hui, 60% des contributions portant sur des méta-analyses génétiques
viennent de Chine et n’ont pratiquement aucune valeur parce qu’elles commettent
les mêmes erreurs que celles faites au début en Europe et aux Etats-Unis.

Les erreurs se multiplient aussi avec le temps. L’autocorrection de la science ne fonctionne-t-elle plus?

Elle fonctionne, mais la question est de savoir à quelle vitesse. Autrefois, nous pensions que le Soleil tournait autour de la Terre. Nous avons mis deux mille ans à
corriger cette représentation erronée. Toutefois, aujourd’hui, s’il faut deux ans pour
découvrir et corriger une erreur, c’est problématique, car les scientifiques sont beaucoup plus nombreux. Ils font davantage de recherche et publient plus que jamais
en s’appuyant sur les travaux – dont une partie, au moins, est fausse – de leurs prédécesseurs et de leurs collègues. Ma principale préoccupation est d’accélérer l’autocorrection du système scientifique. Ce n’est possible que par le biais d’une vérification indépendante et rapide des résultats. Dans de nombreux domaines, l’autocorrection n’est pas encore assez efficace. Il y a peu, certaines disciplines, comme la psychologie, ne se souciaient même pas de la reproductibilité de leurs résultats. Elles ont commencé récemment seulement à répéter certains essais importants.

Aimez-vous Don Quichotte?

C’est un merveilleux personnage littéraire. Mais je ne crois pas qu’il soit mon modèle
dans mon effort pour induire des changements et des améliorations. J’essaie d’être
réaliste et je vois un important potentiel d’optimisation, auquel je rends attentif.
En fait, tous les scientifiques sont des Don Quichotte. Comme lui, nous poursuivons
certaines idées et sommes prêts à nous battre pour elles. Mais peut-être que notre
combat devrait porter moins souvent sur la défense de nos idées que sur la volonté de
leur faire approcher la réalité au plus près, avec le moins d’erreurs et le plus de précision possible. Quelle que soit cette réalité, nous devrions nous efforcer de mieux la comprendre.

(De "Horizons" no 100, mars 2014)