Lors de la Session du 12 novembre, Arnaud Legrand reviendra sur ce qu’il convient d’appeler la crise de la reproductibilité et de crédibilité qui a frappé à peu près tous les domaines scientifiques.

Arnaud, pouvez-vous vous présenter ?

« Je suis chercheur au CNRS à l’Université de Grenoble depuis 2004. J’ai obtenu mon doctorat de l’École Normale Supérieure de Lyon en 2003, et ma thèse d’habilitation en 2015. Mes travaux de recherche portent sur l’étude des infrastructures informatiques distribuées à grande échelle utilisées pour le calcul scientifique. Cela recouvre les questions d’optimisation liées à l’exploitation de ces plateformes (ordonnancement, optimisation combinatoire, théorie des jeux) et les techniques d’évaluation de performance (simulation, visualisation, analyse statistique). Je suis l’un des concepteurs du projet SimGrid, un outil de simulation open source dont le but est de faciliter la recherche dans le domaine de l’optimisation des systèmes parallèles et distribués. Depuis 5 ans, je participe à la promotion de meilleures pratiques expérimentales et à l’amélioration de la méthodologie scientifique à travers des tutoriels, des conférences et des cours. »

Qu’est-ce que la recherche reproductible ?

« La Recherche Reproductible a pour objectif de rendre l’ensemble du processus de recherche derrière les études scientifiques le plus transparent possible de manière à ce qu’un lecteur d’un article puisse aisément en reproduire les résultats. Par exemple, lorsque des résultats ont été obtenus par des calculs, la personne qui consulte ces résultats doit pouvoir avoir accès aux logiciels et à la façon dont ils ont été utilisés pour pouvoir les vérifier, les reproduire à l’identique, et les réutiliser dans un autre contexte. Les problématiques et enjeux de la Recherche Reproductible concernent tous les domaines de la science mais appliquer ce principe de transparence à des fins de reproductibilité nécessite des changements d’habitudes profonds. »

On parle de crise de reproductibilité…

« La crise de la reproductibilité fait référence à la crise dans le domaine des sciences selon laquelle de nombreux résultats publiés sont difficiles, voire impossibles à reproduire. Ce terme est apparu dans les années 2000 et a gagné en popularité au milieu des années 2010 suite à plusieurs scandales, notamment en psychologie ou en médecine. Mais quel que soit le domaine et tout scandale mis à part, la majorité des chercheurs (voir par exemple l’étude « 1,500 scientist lift the lid on reproducibility » publiée par Nature en 2016) reconnaissent avoir déjà été incapables de reproduire l’expérience scientifique d’un autre chercheur, voire parfois même une de leurs propres expériences.

Selon les domaines, les causes de non-reproductibilité peuvent être liées à des facteurs sociaux (fraude, conflit d’intérêt, pression à publier, …), méthodologiques ou techniques. Il peut s’agir par exemple de pratiques statistiques hasardeuses, de problèmes liés aux données (collecte, biais, mauvaise interprétation, …) ou au calcul (bugs, typage, instabilité numérique), à la perte d’information à n’importe quelle étape du processus de recherche qui est devenu de plus en plus complexe et de plus en plus fragmenté. Bien souvent le premier point de blocage tient au fait que l’information (code, données, protocole de collecte) n’est tout simplement pas disponible en dehors du laboratoire d’origine. »

Quels sont les solutions et outils à disposition pour faire face à cette crise ?

« Le problème a de nombreuses facettes et plusieurs pistes sont donc explorées pour améliorer la reproductibilité des études. De nouveaux outils sont apparus et sont en train de se populariser, à des vitesses différentes selon les disciplines, et de nouvelles pratiques de recherche et de publication sont en train de se mettre en place. Cela fait partie du mécanisme d’auto-correction de la communauté scientifique. Cela sera-t-il suffisant ? »