Quand Facebook et Twitter évaluent la science

11/03/2016

Les "alternative metrics" veulent concurrencer le nombre de citations comme mesure du succès des publications. Faut-il faire confiance à ces nouveaux indices? Par Roland Fischer

(De "Horizons" no 108 mars 2016)​​​​​​

Quels sont les travaux de recherche qui ont remporté le plus de succès l'an dernier? Jusqu'à récemment, cette question a priori anodine ne pouvait guère être posée. La raison: pendant des décennies, les méthodes pour mesurer l'impact de la recherche ont presque toujours reposé sur les citations, et celles-ci n'apparaissent souvent qu'après des mois, voire des années.

La fin de l'année 2015 a vu de nombreux titres tels que "The 10 most-talked about science stories of 2015". Ce n'est guère un hasard, mais simplement la conséquence du communiqué diffusé par l'entreprise londonienne Altmetric qui annonçait son top 100 des articles ayant fait le plus de bruit sur les médias sociaux. A l'ère des amuse-bouches numériques et des "listicles" (fusion de "liste" et "article"), ce hit-parade scientifique a été très bien accueilli par les journalistes.

Ebola, banquiers et impression 3D

Le classement des articles suisses selon leur score Altmetric reflète la popularité des domaines de recherche: la biomédecine domine clairement, suivie par la physique. Les autres disciplines arrivent nettement derrière. Une exception confirme la règle: l’article "Business culture and dishonesty in the banking industry", de l’économiste Ernst Fehr de l’Université de Zurich, se retrouve au 3e rang, air du temps oblige.

Le facteur d’impact conserve clairement son importance. Les revues renommées telles que Nature et Science dominent le classement – ce qui n’est guère surprenant au vu de l’important travail médiatique qu’elles entreprennent. L’analyse détaillée (disponible en ligne) montre des différences intéressantes entre les divers canaux. Facebook inclut des revues moins éminentes. En tête, on retrouve "No scientific consensus on GMO safety", une publication d’Angelika Hilbeck d’ETH Zurich. Viennent ensuite des travaux sur le virus Ebola et la préhistoire, mais également une liste de conseils pour arriver au bout d’un doctorat. C’est sur Facebook aussi que les discussions mêlent profanes et experts. Twitter honore le travail d’un nerd: "Open Labware: 3-D Printing Your Own Lab Equipment".

Kathrin Altwegg, qui a produit un hit avec son article sur la présence d’oxygène sur la comète Chury, a entendu parler pour la première fois des alternative metrics lorsqu’elle a pris connaissance de son succès. Elle avoue que cela l’a fait rire, mais dit s’être réjouie de l’attention suscitée par ses travaux au-delà de ses pairs. Michel Milinkovitch de l’Université de Genève arrive juste derrière Kathrin Altwegg avec son travail sur le changement de couleur chez le caméléon. Le chercheur avoue avoir été quelque peu surpris par l’ampleur de la diffusion de son article. "Naturellement, je suis heureux que mes résultats intéressent un vaste public", dit-il. Mais souligne que sa mission première reste de produire des recherches de bonne qualité.

Méthode:

Analyse des articles impliquant au moins une institution suisse parus entre juillet 2014 et juin 2015.

L'entreprise Altmetric doit son nom aux "alternative metrics" (en français: mesures alternatives d'impact) ou, sous sa forme raccourcie, "altmetrics". Sa méthode n'additionne pas les citations, mais des chiffres liés à la couverture médiatique de l'article ainsi qu'aux réseaux sociaux: nombre de tweets, de posts sur Facebook, de billets sur les blogs, etc.

Ces nouveaux indices ont l'ambition de mesurer plus précisément l'impact scientifique et sociétal d'un travail de recherche. Ils sont également censés mettre plus rapidement en évidence le succès d’un travail de recherche, car une discussion sur Twitter se déroule beaucoup plus vite que dans les revues spécialisées.

Revue de presse numérique

Ce n'est pas tout: en plus d'offrir une alternative aux indicateurs usuels tels que le nombre de citations et le facteur d'impact de la revue dans lequel un article a été publié, les altmetrics pourraient aussi décharger le système de révision par les pairs ou peer review, objet aujourd'hui de nombreuses critiques. "Avec les altmetrics, nous pouvons crowdsourcer le peer review", déclaraient les précurseurs du mouvement emmené par Jason Priem dans un manifeste de 2010.

L'idée est la suivante: une foule de profanes et un nombre considérable d'experts juge à coup de clics et de partages de l'intérêt d'une recherche. Correctement évalués et analysés, ces clics représenteraient implicitement une sorte de peer review. L'idée est intéressante. Aujourd'hui, la valeur d'un manuscrit est uniquement estimée par la poignée d'experts choisis par les rédacteurs des revues scientifiques. Pourtant, nombre de chercheurs seraient à même de contribuer à cette évaluation, et les impliquer améliorerait grandement la qualité du peer review. Certains scientifiques sont très actifs sur les réseaux sociaux, surtout sur Twitter: début 2015, un sondage auprès des membres de l'American Association for the Advancement of Science (AAAS) montrait que près de la moitié d'entre eux utilisaient les réseaux sociaux pour s'informer et commenter les découvertes.

"Aujourd'hui déjà, les publications scientifiques font l'objet de discussions sur les blogs et d'autres canaux similaires, où un nouveau système pourrait s'établir pour mieux repérer la recherche médiocre", commente Euan Audie, fondateur d'Altmetric. Mais il ajoute que "les altmetrics viennent en complément de l'analyse des citations et du peer review. Aujourd'hui, je ne vois pas comment ils pourraient remplacer les anciennes méthodes".

L'idée d'Euan Audie est plutôt de documenter un impact au-delà de la sphère scientifique, de procéder à une espèce de revue de presse numérique. "Notre indice mesure l'attention qu'un article a obtenu, ce n'est pas un indicateur de qualité", souligne-t-il. Tel est aussi l'avis de Stefanie Haustein, spécialiste en sciences de l'information à l'Université de Montréal, qui étudie les mesures alternatives d'impact depuis plusieurs années: "A l'heure actuelle, elles n'évaluent absolument pas la qualité d'une recherche." Elle conteste aussi l'affirmation selon laquelle les altmetrics seraient une manière élégante de mesurer l'influence d'un article sur la société.

Concurrence des indices

Se pose alors une question de fond: que livrent les altmetrics? Une information importante et pertinente, ou au contraire ce qui se trouve être facilement accessible et quantifiable de manière automatique? Ils ont en tout cas le vent en poupe: les choses bougent dans le milieu de la recherche depuis que l'initiative DORA de 2013 a souligné la méfiance suscitée par le facteur d'impact classique (le nombre moyen de citations des articles publiés dans une certaine revue). DORA ne veut pas tourner le dos aux systèmes d'évaluation quantitatifs, mais au contraire considérer des méthodes encore plus complexes telles que les altmetrics.

Les décisions portant sur les critères d'évaluation de l'impact d'une recherche vont sans aucun doute se complexifier et préoccupent autant la communauté scientifique que le monde de la politique de la recherche. Car les méthodes métriques ne sont pas juste des indicateurs objectifs, mais aussi un levier politique: elles sous-tendent des systèmes d'incitation susceptibles de transformer subtilement le monde académique. Faut-il vraiment que la recherche scientifique ait une visibilité sur les réseaux sociaux? Est-il vraiment problématique que de nombreux résultats ne soient fondamentalement guère compatibles avec l'univers hectique de Facebook et Twitter?

Dans une récente publication, Stefanie Haustein a remis en question la pertinence et la robustesse des nouveaux procédés d'évaluation. Elle a montré que la présence des publications scientifiques sur les canaux numériques était plutôt faible: 21,5% des articles font l'objet d'un tweet, moins de 5% sont partagés sur Facebook et seuls 2% sont mentionnés dans des blogs. Mais 66,8% sont cités au moins une fois de manière traditionnelle par une autre publication scientifique.

Les nouvelles méthodes constituent encore une boîte noire. Il faudra davantage d'analyses pour comprendre ce qu'on mesure exactement et la manière dont les anciens indicateurs se comportent par rapport aux nouveaux. Alors seulement pourrons-nous mieux juger s'il faut utiliser les altmetrics comme substituts des indices usuels, ou en complément.

 

Roland Fischer est journaliste scientifique à Berne.

Données détaillées

www.snf.ch/Ho_altmetrics