Un peer review à revoir

​(De "Horizons" no 106, septembre 2015)
Image: © Keystone / Cultura / ISTL / Max Bailen

Une substance chimique extraite du lichen permet de combattre le cancer. Tel était le résultat d’une étude que le journaliste scientifique John Bohannon avait adressée sous un nom d’emprunt à 304 revues spécialisées. Plus de la moitié d’entre elles avaient accepté de la publier. Mais en octobre 2013, il révélait dans la revue Science qu’il s’agissait d’une supercherie inventée pour prendre en défaut les éditeurs de journaux scientifiques. L’évaluation par les pairs, ou «peer review» en anglais, avait largement échouée.

Les plaintes concernant les tares de l’évaluation par les pairs sont aussi anciennes que le processus en question: les données fabriquées de toutes pièces ne sont pas repérées, les travaux novateurs sont refusés et les études médiocres sont acceptées. Certains évaluateurs se laissent influencer par leurs préjugés sur l’origine de l’auteur ou son sexe. Processus fastidieux, le peer review phagocyte un temps précieux. Mais plusieurs nouveaux modèles tentent de résoudre le problème ou, au moins, de l’atténuer.

La numérisation a fait émerger une pépinière d’idées pour remplacer l’anonymat usuel du peer review par des procédés transparents et ouverts. Certaines évaluations sont signées, et la communauté scientifique teste de nouvelles formes interactives de discussion prenant place lors du processus de publication.

Les vertus de la discussion

La revue en libre accès Atmospheric Chemistry and Physics (ACP) est un exemple typique de cette évolution, avec un processus de publication comprenant deux étapes. La plausibilité des études est d’abord brièvement examinée avant leur mise en ligne sur le forum ACP Discussions. En plus de la poignée d’évaluateurs officiels conventionnels, les scientifiques intéressés peuvent s’inscrire pour participer au débat. Les réponses des auteurs sont immédiatement publiées et prises en compte par les évaluateurs. Si l’étude passe cette étape, elle se retrouve au deuxième niveau et sera publiée officiellement dans la revue en tant qu’article final.

Le processus d’évaluation ouvert permet de faire d’une pierre deux coups, avance Ulrich Pöschl, rédacteur en chef de la revue ACP et chercheur à l’Institut Max-Planck de chimie à Mayence. Grâce au principe des «articles de discussion», les nouvelles connaissances passent directement dans le circuit scientifique sans devoir attendre la fin de l’évaluation par les pairs, qui distinguera les contributions de grande qualité. Mais pour Ulrich Pöschl, le point le plus important est la post-évaluation: de nouveaux indices, comme la fréquence de téléchargement ou le nombre de commentaires, représenteraient ainsi une véritable percée vers une meilleure assurance qualité et pourraient même un jour concurrencer la banque d’articles Sciences Citation Index.

Entre-temps, quinze revues avec un modèle semblable à celui de l’APC sont nées sous l’égide de l’Union européenne des géosciences. «Nous verrons ce qui s’impose dans la compétition», commente Ulrich Pöschl.

Publications aux enchères

Les revues qui travaillent avec de telles évaluations ouvertes restent encore rares. Les sciences humaines et sociales notamment préfèrent le peer review anonyme. «La tendance à davantage de transparence est toutefois largement répandue», relève le Suisse Martin Reinhart, professeur en Science studies à l’Université Humboldt de Berlin. Il estime toutefois que la transparence n’améliore pas automatiquement la qualité: la dépendance réciproque entre évaluateurs et auteurs menace d’affaiblir la distance critique nécessaire. Pour lui, l’évaluation anonyme devrait donc garder sa pertinence. Il plaide pour une plus grande diversité des systèmes de peer review.

L’économie privée teste elle aussi de nouveaux modèles. La start-up finlandaise Peerage of Science offre aux revues de se charger de l’évaluation. L’«open engagement» constitue un élément essentiel de son système, souligne le cofondateur Janne Seppänen. Une fois leur identité et leur compétence vérifiées, les évaluateurs décident librement des études dont ils veulent se charger. Ce n’est donc pas le rédacteur qui les sélectionne pour une étude donnée. Les expertises sont elles-mêmes jugées, mais «il est évidemment important de s’assurer que le jugement porté sur une expertise ne dépende pas de la recommandation qu’elle promulgue», note Janne Seppänen.

Vingt revues, surtout dans le domaine des sciences de la vie, participent actuellement à cette plateforme. En contrepartie, elles bénéficient d’un accès à un ensemble d’études déjà évaluées. Les auteurs peuvent accepter ou refuser les offres de publication émises par les journaux. Le fait que plusieurs revues aient accès au pool est susceptible d’augmenter leurs chances d’être publiés. Par ailleurs, ils évitent que leur étude ne doive passer par plusieurs processus de révision, avec le risque qu’elle soit analysée par le même expert. Les journaux, eux, ne paient qu’à partir du moment où ils acceptent une étude.

Ce modèle réduit le recours aux évaluations, un but qui peut être atteint d’une autre manière. Comme les études sont souvent refusées pour des raisons formelles (articles trop longs ou ne correspondant pas à l’orientation de la publication), les évaluations pourraient en principe être réutilisées en étant simplement transmises, en cas de refus, à d’autres publications similaires. C’est ce à quoi procède depuis 2007 le Peer Review Consortium, une association de publications dans le domaine des neurosciences qui transfère chaque année environ 200 évaluations entre différentes revues.

Un débat ouvert

D’autres nouveaux modèles explorent l’évaluation après publication. Le site PubPeer par exemple permet aux scientifiques d’échanger leurs impressions sur les travaux publiés. «On y trouve des discussions intéressantes sur la fiabilité de la recherche», note Martin Reinhart. Jusqu’ici, ce genre de débats avaient souvent lieu à huis clos. Bien entendu, il arrive que des discussions dérapent: une plateforme publique peut être exploitée dans le but de discréditer un collègue, et PubPeer n’oblige pas ses utilisateurs à donner leur nom. Mais Martin Reinhart dit avoir l’impression que la communauté de la recherche règle ellemême ce type de problèmes.

La transparence n’améliore pas automatiquement la qualité.

Si PubPeer voit certaines études être violemment critiquées, la plateforme Faculty of 1000 (ou F1000) offre une expérience moins controversée. Elle propose aux spécialistes des sciences de la vie un service de sélection d’articles géré par un groupe de mille experts qui recommandent leurs lectures. Ce deuxième niveau de révision est notamment censé garantir que des études significatives ne finissent pas noyées dans le flot des publications.

Récompenser les experts

Les nouvelles variantes ont un point commun: le peer review dépend toujours de la participation de spécialistes. Or, comme le nombre de revues a augmenté avec la numérisation, les rédacteurs essuient de plus en plus souvent un refus lorsqu’ils sollicitent un expert pour une évaluation. Le problème est dû notamment au manque de reconnaissance témoigné à cette activité.

En principe, tout auteur scientifique profite du travail de ses collègues experts et devrait leur rendre la pareille un jour ou l’autre, rappelle Erik von Elm, de l’Institut de médecine sociale et préventive de l’Université de Lausanne. Mais certains manquent de solidarité et refusent d’effectuer des évaluations. D’où la nécessité de mettre en place des mesures incitatives, car, à ce jour, les publications restent avant tout déterminantes pour la carrière. «Ce qui manque encore, c’est que l’activité d’évaluateur compte dans le système.»

En médecine, le problème est partiellement résolu, estime Ana Marusic, professeur à la School of Medicine de l’Université de Split et membre du comité des European Associations of Science Editors. Les auteurs d’évaluations ont droit à des points CME (Continuing Medical Education) que les médecins doivent accumuler afin de conserver leur autorisation d’exercer. Dans beaucoup d’autres disciplines scientifiques, un système de ce genre fait défaut.

«Le système a des faiblesses, mais on n’en a pas encore inventé de meilleur.» Erik von Elm

D’autres initiatives pourraient s’en inspirer. Certaines revues publient une fois par année une liste des meilleurs évaluateurs. Elsevier distingue ceux qu’elle juge exceptionnels par le biais de certificats. Et les révisions qui paraissent sur la plateforme F1000 sont couplées depuis peu à l’identifiant Orcid (Open Researcher & Contributor Identification Initiative) de l’expert afin que sa prestation ne sombre pas dans l’oubli.

La formation aux activités d’évaluateur manque également. Les jeunes scientifiques rédigent souvent leur première expertise sans la moindre marche à suivre. «Les universités connaissent des cours obligatoires de pédagogie, mais pas de peer review», déplore Erik von Elm. Les initiatives pour pallier cette lacune restent rares. Dans le fond, la révision par les pairs est à l’image de la démocratie, remarque le chercheur: on sait que le système a des faiblesses, mais on n’en a pas encore inventé de meilleur.

Des modes de publications variés

C’est notamment en raison des difficultés liées au peer review que les chercheurs de certaines disciplines n’ont pas attendu pour mettre à disposition leurs études sous forme de preprint (ou prépublication) sur des archives publiques. Depuis 1991, physiciens, mathématiciens et informaticiens utilisent activement le serveur Arxiv.org, rejoint depuis 2013 par Biorxiv.org pour le domaine de la biologie. Ces derniers permettent d’échanger rapidement les informations, avant que leurs études soient publiées dans une revue à comité de lecture.

Ulrich Pöschl voit un avenir comprenant trois niveaux de publication scientifique. D’abord, le serveur de publication sans peer review ou avec une vérification simplifiée de plausibilité. Ensuite, des revues open access tels que BMC Medicine ou ACP qui se distinguent par leur transparence et par une culture de discussion. Enfin, les magazines interdisciplinaires comme Nature et Science qui pourraient servir de vitrines à des études particulièrement intéressantes pour le grand public. En résumé: une diversité de modèles de publication, avec différentes missions, et se complétant les uns les autres.

Basé à Berlin, le journaliste scientifique Sven Titz publie régulièrement dans la NZZ, le Tagesspiegel et Welt der Physik.