La crise de la reproductibilité en sciences

Cet article, écrit par l'éditeur d'une revue académique célèbre, m'a rappelé les conseils aux élèves qui envisageaient de se lancer dans la recherche théorique de notre promotion : ils entraient dans un jeu difficile dont il valait mieux connaître les règles qui n'étaient pas si scientifiques que cela.
https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(15)60696-1/fulltext
"Beaucoup de ce qui est publié est incorrect". Je n'ai pas le droit de dire qui a fait cette remarque parce qu'on nous a demandé de respecter les règles de Chatham House. Il nous a également été demandé de ne pas photographier les diapositives. Ceux qui travaillaient pour des agences gouvernementales ont plaidé pour que leurs commentaires ne soient surtout pas cités, car l'approche des élections britanniques signifiait qu'ils vivaient dans le "purdah" - un état glaçant où de sévères restrictions à la liberté d'expression sont imposées à toute personne employée par le gouvernement. Pourquoi ce souci paranoïaque du secret et de la non-attribution ? Parce que ce symposium sur la reproductibilité et la fiabilité de la recherche biomédicale, qui s'est tenu au Wellcome Trust à Londres la semaine dernière, a abordé l'une des questions les plus sensibles de la science aujourd'hui : l'idée que quelque chose a fondamentalement mal tourné avec l'une de nos plus grandes créations humaines.
Les arguments contre la science sont simples : une grande partie de la littérature scientifique, peut-être la moitié, est tout simplement fausse. Affligée par des études portant sur des échantillons de petite taille, des effets minuscules, des analyses exploratoires non valables et des conflits d'intérêts flagrants, ainsi que par l'obsession de suivre des tendances à la mode d'une importance douteuse, la science a pris un virage vers l'obscurité. Comme l'a dit un participant, "les mauvaises méthodes donnent des résultats". L'Académie des sciences médicales, le Conseil de la recherche médicale et le Conseil de la recherche en biotechnologie et en sciences biologiques ont désormais mis leur réputation au service d'une enquête sur ces pratiques de recherche douteuses. L'endémicité apparente des mauvais comportements en matière de recherche est alarmante. Dans leur quête d'une histoire convaincante, les scientifiques sculptent trop souvent les données pour les faire correspondre à leur théorie préférée du monde.
Ou bien ils adaptent leurs hypothèses à leurs données. Les rédacteurs en chef des revues méritent eux aussi leur part de critiques. Nous aidons et encourageons les pires comportements. Notre acceptation du facteur d'impact alimente une compétition malsaine pour gagner une place dans quelques revues choisies. Notre amour de la "statistique significative" pollue la littérature avec de nombreux contes de fées statistiques. Nous rejetons des confirmations importantes. Les revues ne sont pas les seules à commettre des erreurs. Les universités sont en perpétuelle lutte pour l'argent et le talent, des objectifs qui favorisent les mesures réductrices, telles que les publications à fort impact. Les procédures d'évaluation nationales, telles que le cadre d'excellence en matière de recherche, encouragent les mauvaises pratiques. Et les scientifiques, y compris leurs plus hauts responsables, ne font pas grand-chose pour modifier une culture de la recherche qui frôle parfois l'inconduite.
Peut-on remédier aux mauvaises pratiques scientifiques ? Une partie du problème réside dans le fait que personne n'est incité à avoir raison. Au contraire, les scientifiques sont incités à être productifs et innovants. Un serment d'Hippocrate pour la science serait-il utile ? Il ne faut certainement pas ajouter des couches supplémentaires de paperasserie dans le domaine de la recherche. Au lieu de modifier les incitations, on pourrait peut-être les supprimer complètement. Ou insister sur les déclarations de reproductibilité dans les demandes de subvention et les documents de recherche. Ou mettre l'accent sur la collaboration et non sur la concurrence. Ou insister sur le pré-enregistrement des protocoles. Ou récompenser une meilleure évaluation par les pairs avant et après la publication. Améliorer la formation à la recherche et le mentorat. Ou mettre en œuvre les recommandations de notre série sur
l'augmentation de la valeur de la recherche, publiée l'année dernière. L'une des propositions les plus convaincantes est venue de l'extérieur de la communauté biomédicale.Tony Weidberg est professeur de physique des particules à Oxford. À la suite de plusieurs erreurs très médiatisées, la communauté de la physique des particules consacre désormais beaucoup d'efforts à la vérification et à la revérification intensives des données avant leur publication. En filtrant les résultats par l'intermédiaire de groupes de travail indépendants, les physiciens sont encouragés à critiquer. Les bonnes critiques sont récompensées. L'objectif est d'obtenir des résultats fiables, et les incitations pour les scientifiques sont alignées sur cet objectif. M. Weidberg s'inquiète du fait que nous plaçons la barre des résultats beaucoup trop bas en biomédecine. En physique des particules, la signification est fixée à 5 sigma, soit une valeur p de 3 × 10-7 ou 1 sur 3-5 millions (si le résultat est faux, il s'agit de la probabilité que les données aient été aussi extrêmes qu'elles le sont). La conclusion du symposium était qu'il fallait faire quelque chose. En effet, tous semblaient d'accord pour dire qu'il était en notre pouvoir de faire quelque chose. Mais quant à savoir précisément ce qu'il faut faire ou comment le faire, il n'y a pas eu de réponses définitives. Ceux qui ont le pouvoir d'agir semblent penser que quelqu'un d'autre devrait agir en premier. Et chaque action positive (par exemple, le financement de réplications bien conçues) a son contre-argument (la science deviendra moins créative). La bonne nouvelle, c'est que la science commence à prendre très au sérieux certains de ses pires défauts. La mauvaise nouvelle, c'est que personne n'est prêt à faire le premier pas pour assainir le système.