Peut-on faire confiance à la science de l’écologie ?

Les conclusions des écologistes ont une influence considérable sur les débats politiques concernant l’agriculture, la pollution, le changement climatique, la conservation et la biodiversité. Mais peut-on leur faire confiance ? Un article récent suggère qu’un certain scepticisme est de mise.

Kaitlin Kimmel et ses collègues ont entrepris d’examiner la prévalence des “pratiques de recherche douteuses” dans le domaine de l’écologie. Les QRP, comme on les appelle, comprennent des éléments tels que le fait de ne pas mettre ses données et son code à la disposition d’autres chercheurs pour qu’ils les vérifient. Elles comprennent également des éléments plus subtils tels que la communication sélective des résultats, l’ajustement de l’analyse jusqu’à l’obtention d’un résultat significatif (“p-hacking”) et la formulation d’hypothèses une fois les résultats connus (“HARKing”).

Les chercheurs ne sont pas les seuls à s’engager dans des QRP. Les rédacteurs en chef des revues scientifiques rejettent souvent les articles dont les résultats sont nuls ou faibles parce qu’ils pensent que ces résultats auront moins d’impact et seront moins intéressants pour les lecteurs. Il en résulte un “biais d’exagération”, par lequel l’ampleur moyenne de l’effet paraît plus importante qu’elle ne l’est en réalité parce que les résultats nuls ou faibles ne sont pas représentés dans la littérature publiée.

Supposons, par exemple, que dix études soient réalisées, dont cinq concluent à des effets faibles et cinq à des effets forts. Si seules les cinq dernières sont publiées, la littérature publiée exagérera l’ampleur de l’effet en question. Une telle variabilité des résultats est fréquente lorsque la taille des échantillons est faible (lorsque les études sont “sous-puissantes”, pour utiliser le jargon technique).

Kimmel et ses collègues ont obtenu des statistiques pertinentes à partir de 354 articles publiés dans cinq revues d’écologie de premier plan entre 2018 et 2020. Dans une partie de leur analyse, ils ont examiné la distribution des statistiques t rapportées par les articles de leur échantillon. La statistique t est un élément que vous calculez et qui vous indique dans quelle mesure vos résultats seraient probables dans l’hypothèse d’une absence d’effet. Si elle est élevée, cela signifie que vos résultats seraient peu probables dans cette hypothèse et donc qu’il y a probablement un effet.

Ce qui est important, c’est que, par convention, les statistiques t supérieures à 1,96 sont considérées comme significatives, tandis que celles qui sont inférieures à 1,96 sont considérées comme non significatives. Par conséquent, si les chercheurs communiquaient leurs résultats de manière sélective, on s’attendrait à voir une discontinuité dans la distribution, avec moins de résultats que prévu juste en dessous de 1,96 et plus de résultats que prévu juste au-dessus de 1,96. Or, c’est précisément ce que Kimmel et ses collègues ont constaté !

Figure extraite de “Empirical evidence of widespread exaggeration bias and selective reporting in ecology” (Preuve empirique d’un biais d’exagération généralisé et d’un rapport sélectif en écologie)

Comme vous pouvez le voir, il y a un creux dans la distribution juste en dessous de 1,96 et un pic juste au-dessus. Ce qui ne peut s’expliquer que par une combinaison de HARKing, de p-hacking et de communication sélective des résultats. En fait, Kimmel et ses collègues ont trouvé d’autres preuves d’une communication sélective des résultats. Lorsqu’ils ont examiné la distribution des statistiques t tirées des annexes des articles, ils n’ont pas constaté de discontinuité autour de 1,96, comme le montre le graphique ci-dessous.

Figure extraite de “Empirical evidence of widespread exaggeration bias and selective reporting in ecology” (Preuve empirique d’un biais d’exagération généralisé et d’un rapport sélectif en écologie)

Cela signifie que les chercheurs rapportaient correctement les résultats dans leurs annexes, mais de manière sélective dans leurs textes principaux. (Ce qui est logique, étant donné que les articles sont généralement jugés sur la base de leurs principaux résultats, plutôt que sur des résultats supplémentaires).

Kimmel et ses collègues ont également trouvé des preuves d’un biais d’exagération dans la littérature écologique. En outre, ils ont constaté que si les données étaient disponibles pour 80 % des articles de leur échantillon, le code était disponible pour moins de 20 % d’entre eux. Ce qui signifie que la grande majorité des résultats des articles ne pouvaient pas être reproduits sans réécrire le code à partir de zéro.

“Les tailles d’effet publiées dans les revues d’écologie”, écrivent les auteurs, “exagèrent l’importance des relations écologiques qu’elles visent à quantifier”. Ceci, à son tour, “entrave la capacité de l’écologie empirique à contribuer de manière fiable à la science, à la politique et à la gestion”.

Le document n’identifie pas les “relations écologiques” spécifiques les plus exagérées, ni les domaines les plus touchés, mais il offre des raisons générales d’être sceptique. Gardez cela à l’esprit la prochaine fois que vous lirez la section scientifique.

Lire aussi : Un fondateur de Greenpeace déplore le « détournement » de l’écologie par les alarmistes

Source : The Daily Sceptic – Traduit par Anguille sous roche