Tirer la sonnette d'alarme sur la pseudoréplication

thetransmitter.org Traduction de "Sounding the alarm on pseudoreplication: Q&A with Constantinos Eleftheriou and Peter Kind" _ 12 juin 2025

Tirer la sonnette d'alarme sur la pseudoréplication : questions-réponses avec Constantinos Eleftheriou et Peter Kind

Lauren Schenkman

Au cours des 15 dernières années, Peter Kind, professeur de neurosciences à l'université d'Édimbourg, a suivi de près une erreur statistique préoccupante : la pseudoréplication, qui consiste à analyser des échantillons provenant du même animal comme s'il s'agissait de spécimens indépendants. Cette pratique peut conduire à des résultats qui semblent statistiquement significatifs alors qu'ils ne le sont pas. Par exemple, dans une expérience avec deux groupes, trois souris par groupe et six cellules provenant de chaque souris, la pseudoréplication peut donner une valeur p de 0,05 alors qu'elle est en réalité de 0,33.

Néanmoins, cette pratique est très répandue en neurosciences, selon une nouvelle étude co-dirigée par Kind et publiée le mois dernier dans Molecular Autism. L'équipe a passé au crible 345 études sur le syndrome de l'X fragile chez la souris, dont 150 publiées entre 2001 et 2012 et 195 publiées entre 2013 et 2024, après que Nature ait publié de nouvelles directives en matière de rapports statistiques exigeant une plus grande transparence et une meilleure documentation, la plupart des autres revues ayant rapidement emboîté le pas. Ils ont également examiné 300 études sur des souris portant sur des troubles neurologiques de manière plus générale, en ne sélectionnant que celles publiées dans les meilleures revues de neurosciences et en les divisant à nouveau en deux groupes en fonction de leur date de publication.

Plus de la moitié des articles comportaient au moins un chiffre impliquant une pseudoréplication. Après la publication des directives plus strictes de Nature, la prévalence des cas suspects de pseudoréplication a augmenté d'environ 14 % pour les études sur le syndrome de l'X fragile et de 17 % pour les études sur les troubles neurologiques en général.

The Transmitter s'est entretenu avec Peter Kind et son coauteur Constantinos Eleftheriou, chercheur postdoctoral à l'université d'Édimbourg, pour comprendre pourquoi la pseudoréplication est si courante et ce que les chercheurs et les revues peuvent faire pour y remédier.

Cette interview a été légèrement modifiée pour des raisons de longueur et de clarté.

The Transmitter : Pourquoi la pseudoréplication est-elle en augmentation ?

Peter Kind : Je ne pense pas que la situation se soit réellement détériorée. Je pense que grâce à l'amélioration des rapports et à l'exigence des revues scientifiques en matière de clarté des statistiques utilisées, la pseudoréplication est devenue beaucoup plus facile à détecter.

Je soupçonne que la plupart des gens ne sont pas conscients du problème statistique que pose la pseudoréplication, et qu'ils ne savent donc pas nécessairement qu'ils font quelque chose de mal. Ils pensent que chaque cellule peut être traitée comme une réplique indépendante, alors qu'en réalité, deux cellules du même cerveau ou deux épines sur le même dendrite ne sont pas affectées indépendamment par ce que vit l'animal. Et en présentant de manière erronée la réplique indépendante, leur étude gagne en puissance artificielle, si vous voulez, ce qui conduit à des résultats plus significatifs, ce qui est privilégié en science.

TT : Que faut-il changer pour mettre fin à cette pratique ?

PK : Nous devons commencer à traiter nos statistiques avec le même respect que nous accordons à notre conception expérimentale. Nous passons des mois à apprendre à utiliser un microscope à deux photons, par exemple. Nous devons consacrer autant de temps et d'efforts à l'apprentissage de statistiques plus complexes afin de pouvoir appliquer la bonne approche statistique.

Constantinos Eleftheriou : Cela doit également occuper une place plus importante dans l'enseignement des sciences. La plupart des commentaires que nous avons reçus sur l'article étaient du type : « Eh bien, nous ne savions tout simplement pas ; personne ne nous a jamais expliqué ce qu'était la pseudoréplication. »

TT : Quel rôle les revues et les évaluateurs peuvent-ils jouer pour mettre fin à cette pratique ? 

PK : Ce sont les revues, et pas nécessairement les évaluateurs, qui devraient assumer cette responsabilité. Lorsque j'évalue une étude et que je soulève la question de la pseudoréplication, la réponse habituelle des auteurs est que c'est une pratique courante dans le domaine. Comment changer cette culture ? 

Les normes de reporting ont été d'une grande aide. Avant, nous ne pouvions même pas déterminer si une étude était une pseudoréplication. Mais il serait vraiment bien que les revues aillent plus loin et assument la responsabilité de garantir que ce qui est publié dans leurs pages est d'une grande rigueur statistique, ce qui signifie ne pas publier, le cas échéant.

TT : Utiliser plus de souris coûte cher, mais est-ce le seul moyen d'éviter la pseudoréplication ?

PK : Il est faux de croire qu'il suffit d'utiliser plus d'animaux. Ce n'est pas idéal non plus, car cela conduit à davantage de faux négatifs. Dans notre laboratoire, nous n'avons pas du tout augmenté notre utilisation d'animaux.

Pour faire des statistiques avec des échantillons provenant des mêmes animaux, il faut utiliser d'autres modèles, tels que les modèles linéaires mixtes (LMM) ou les modèles linéaires mixtes généraux. Les LMM prennent en compte la variabilité au sein d'un animal et la variabilité entre les animaux, puis vous donnent un résultat génotypique. Ces modèles sont plus longs à apprendre, et chaque ensemble de données est différent et doit être modélisé indépendamment.

L'utilisation des LMM a, au contraire, légèrement réduit notre nombre d'animaux, car vous obtenez toute la puissance de la variabilité intra- et inter-sujets.

TT : Compte tenu de l'importance de cette question, quels types de résultats devrions-nous réexaminer ?

CE : D'un autre côté, le fait qu'un article comporte une pseudo-réplication n'invalide pas nécessairement ses résultats.

PK : C'est simplement un élément à identifier, comme n'importe quel autre aspect technique de l'article.

TT : La pseudo-réplication peut-elle expliquer l'absence de reproductibilité de certains résultats ? 

CE : La pseudo-réplication augmente le risque d'observer un effet qui n'existe pas. Et la science est autocorrectrice : les résultats dus à la pseudoréplication ne sont pas repris.

PK : C'est l'origine de tout ce projet. Lorsque nous travaillions sur le syndrome de l'X fragile il y a 15 ans, nous ne pouvions pas reproduire la découverte d'une colonne vertébrale longue et fine que tous les laboratoires semblaient rapporter. Nous avons identifié une pseudoréplication dans de nombreux articles sur le syndrome de l'X fragile traitant de la colonne vertébrale.

CE : Encore une fois, tout se résume à la pression exercée par les revues pour publier des résultats statistiquement significatifs, c'est-à-dire des résultats qui donnent une valeur p inférieure à 0,05. 

PK :  Mais la publication de statistiques descriptives avec la taille de l'effet et la variance est souvent plus informative que la valeur p.

TT : La pseudoréplication est-elle susceptible de se poursuivre à l'avenir ?

CE : Des techniques telles que les électrodes à haute densité et l'imagerie à deux photons à champ plus large nous poussent en fait à enregistrer davantage de cellules. Bon nombre de ces études s'étendent sur plusieurs jours, ce qui rend les statistiques encore plus compliquées. Je pense donc que nos techniques progressent peut-être plus rapidement que notre formation en statistiques.

PK : Mais je pense que les gens sont de plus en plus conscients du problème. Si nous répétons cette étude dans 5 à 10 ans, je pense que ce phénomène diminuera. J'espère qu'il diminuera.