Les revues médicales: fabrique de fake news ?

La liste des études qui prétendent démontrer la dangerosité des traitements à base d'hydroxychloroquine et d'azytromycines s'allonge. Curieusement à chaque fois en dépit d'une apparence scientifique impressionnante, une grosse faiblesse méthodologique pulvérise les conclusions de ces études. Mais les médias et les politiques répercutent sans broncher. Nouvel exemple.

J’ai sans doute mal lu l’article dans The Lancet mais je ne trouve aucune information quant aux quantités de traitement utilisés pour chaque patient. Donc si un hôpital a eu la mauvaise idée d’infliger un traitement à 1000mg ou 1200 mg de HCQ et tue ses patients, ses résultats comptent de la même façon qu’un autre à 600mg. Le vieux problème des choux et des carottes … Ce n’est vraiment pas sérieux.

De plus l’HCQ et autres traitements associés ont été fortement déconseillés, ils ont donc été administrés de façon assez anarchique et probablement en fonction de la gravité supposée ou anticipée de la maladie (y compris dans le cas de prescriptions précoces) et probablement aussi en fonction des capacités de réanimation disponibles: HCQ médicament du pauvre (?). Dans ces conditions, on peut appliquer sur d’autres facteurs tous les « scores de propension » que l’on voudra, si ces informations ne sont pas rentrées dans la boite on passera à coté d’un biais énorme.

Mais 100 000 inclusions ça en jette ! C’est scientifique!

Prudents (mais qui lit la partie « Our study has several limitations »?), les auteurs envisagent le risque d’un biais sans trop en préciser la nature et pour s’empresser de dire qu’ils sont confiants parce qu’ils appliquent deux méthodes qui donnent des résultats cohérents … Avec les mêmes données c’est assez rassurant mais ça ne dit toujours rien au sujet du biais d’attribution sus-mentionné.

Une analyse de l’impact potentiel d’une variable cachée est aussi faite. Fondée sur une formule empirique dont on aimerait que soit démontrée la pertinence (à ce stade plus personne ne se pose la question!), l’argument n’exclut pas l’existence d’un biais.

En mélangeant tous les dosages on obtient un résultat aussi absurde que si l'on comptait les suicides à l'aspirine pour évaluer sa dangerosité. Il était pourtant très facile sur le même jeu de données de distinguer par exemple fort et faible dosage ou mieux fort/ moyen/ faible.

Les critères qui ont conduit à la prescription de ces associations peuvent avoir eu un effet considérable. La sévérité de la maladie n'est par exemple évaluée que sur 2 critères binaires qSOFA <1 et  SPO2 <94%. Pourtant il y a mille façons d'avoir un SPO2<94% et plusieurs niveau de qSOFA >=1

En dépit des apparences cette étude ne vaut rien! mais qui va oser le dire?

Le covid-19 attire l’attention des journalistes et du commun des mortels sur la science (et plus particulièrement la statistique) dans le domaine médical. Ce coup de projecteur ne fait pas apparaitre la science sur son meilleur profil. Il serait, naturellement, aberrant de tout rejeter en bloc mais, a contrario, on constate une fois encore que l’application de méthodes aussi sophistiquées soient-elles ne peut suppléer le manque d’esprit critique. Une réflexion / vulgarisation dans les grands médias serait la bienvenue sur ce sujet mais nous en sommes loin. L’argument d’autorité a encore de beaux jours devant lui.

La vieille plaisanterie reste plus que jamais d’actualité: le savant observe une puce, lui coupe une patte et lui dit de sauter et elle saute … il recommence en lui coupant une patte de plus, lui dit de sauter et la puce saute! Il continue ainsi son expérience. Le savant constate qu’à la fin, ayant coupé toute ses pattes, la puce ne saute plus lorsqu’il le lui demande et conclut savamment que la puce est devenue … sourde!

La science n'est manifestement pas exempte de manipulations. L'apparence scientifique de ces études qui résulte de la mise en œuvre d'outils sophistiqués ne doit pas tromper sur la pertinence des résultats, l'honorabilité des revues et des auteurs étant facilement préservée par les réserves, écrites noir sur blanc, mais que personne ne prend en compte dans une lecture simplificatrice à l’extrême.

 

 

Le Club est l'espace de libre expression des abonnés de Mediapart. Ses contenus n'engagent pas la rédaction.