Les étapes de la publication de cette étude ont été les suivantes :
- une vidéo publiée en ligne le 16 mars sur la chaine Youtube du Pr Raoult
- un article publié en pre-print sur le site de l'IHU Méditerranée Infection
- un article publié dans "International Journal of Antimicrobial Agents"
J'analyserai cette étude en faisant des rappels de méthodologie pour montrer à chaque fois ce que les auteurs ont mal fait.
POINT METHODO :
Pour justifier de faire une étude, on fait ce que l'on appelle "le rationnel de l'étude" : on rappelle les résultats d'études antérieures et l'on justifie la réalisation de notre étude.
CE QU'ONT FAIT LES AUTEURS :
Le rationnel de leur étude est très succinct. Le Pr Raoult avait annoncé le 25 février sur sa chaine Youtube que "les chinois ont montré sur des patients (i.e. dans une étude clinique) que l'hydroxychloroquine est efficace".
L'on pouvait donc s'attendre à ce que l'introduction de l'article mentionne ces études chinoises ayant montré l'efficacité de l'hydroxychloroquine.
Il n'en est rien. Les références 8 à 11 sont, dans l'ordre :
- Un article montrant l'activité in vitro de la chloroquine
- Une lettre à l'éditeur d'un journal scientifique écrite par Gao et al. et ne contenant aucune donnée d'efficacité
- Un lien vers le registre chinois des essais cliniques ne contenant aucune donnée d'efficacité
- Une recommandation chinoise de la province de Guangdong sur le traitement du Covid-19 ne contenant aucune donnée d'efficacité
Aucune de ces références n'est une étude chinoise montrant l'efficacité de l'hydroxychloroquine.
Et pour cause : lorsqu'ils ont débuté leur étude, aucune étude chinoise montrant l'efficacité de l'hydroxychloroquine n'était publiée. L'affirmation du Pr Raoult sur sa chaine Youtube le 25 février était un mensonge.
POINT METHODO :
Pour tester un médicament, on fait deux groupes de patients. Un groupe reçoit le traitement que l'on teste, et l'autre ne le reçoit pas.
La meilleure méthode pour constituer les groupes est la randomisation : les groupes sont constitués par tirage au sort (on tire au sort quel groupe va recevoir le traitement à l'étude, et quel groupe ne va pas le recevoir). Cette méthode est importante car elle permet de s'assurer que les groupes sont comparables (le hasard distribue équitablement les patients dans les deux groupes : le pourcentage d'hommes et de femmes devrait être le même, la moyenne d'âge devrait être la même, etc...).
La meilleure méthode pour s'assurer que les groupes restent comparables tout au long de l'étude est la méthode du "double aveugle" : ni le patient ni le médecin ne savent dans quel groupe est le patient. Cela nécessite de donner aux patients du groupe témoin un placebo, c'est à dire un faux médicament similaire en tout point au médicament testé mais ne contenant pas de principe actif. Cela permet d'éliminer l'effet placebo de l'effet que l'on observera dans l'étude.
Dans un essai clinique il est important que tous les patients aient le même suivi, afin que la différence que l'on observe entre les groupes à la fin de l'étude soit bien attribuable au fait qu'un groupe a reçu le traitement et que l'autre groupe n'a pas reçu le traitement, et non à une différence dans la prise en charge des patients selon le groupe dans lequel ils sont.
CE QU'ONT FAIT LES AUTEURS :
Les auteurs ont fait un "open label non randomized clinical trial". C'est le pire de ce qui se fait en terme de méthodologie des essais cliniques. Ça peut se justifier dans certains cas, quand on peut pas faire autrement. Il est douteux qu'une méthodologie aussi faible soit nécessaire ici.
Les auteurs ont fait deux groupes de patients : l'un qu'ils ont traité par hydroxychloroquine, l'autre n'ayant pas reçu d'hydroxychloroquine
Tous les patients du groupe "hydroxychloroquine" ont été pris en charge à Marseille. Les trois autres centres n'ont fourni que des témoins. C'est un biais de sélection majeur.
Le suivi (la prise en charge des patients) n'a pas été le même pour tous les patients.
POINT METHODO :
Ensuite on traite les patients. On observe et on mesure ce qu'il se passe. On recueille le "critère de jugement" de l'étude, c'est à dire le critère sur lequel on va juger de l'efficacité (ou non) du médicament.
Dans les essais cliniques il faut tant que possible choisir des critères de jugement cliniques : guérison, décès, durée des symptômes, séquelles, etc...
Il faut éviter les critères intermédiaires (surrogate endpoints), ou du moins les utiliser quand on ne peut pas faire mieux.
CE QU'ONT FAIT LES AUTEURS :
Ici, les auteurs ont choisi de regarder le pourcentage de patients qui n'avaient plus le virus au bout de 6 jours de prise en charge. Ils ont donc calculé le pourcentage de patients qui n'avaient plus le virus dans le groupe Traité et le pourcentage de patients qui n'avaient plus le virus dans le groupe Témoin.
La charge virale (quantité de virus présent dans un prélèvement) est un critère intermédiaire. Dans cette étude on aurait préféré un critère clinique.
Ce d'autant plus que la charge virale semble faire le yoyo : chez plusieurs patients elle était détectable, puis indétectable, puis de nouveau détectable. Ce qui amène aussi à s'interroger sur la pertinence de l'évaluation à J6 (6ème jour de prise en charge).
D'ailleurs le protocole de l'étude prévoyait d'analyser les résultats jusqu'à J14, avec des mesures répétées de charge virale à plusieurs dates... mais pas à J6 ! Les auteurs n'ont pourtant pas produit de données postérieures à J6.
POINT METHODO :
Enfin on compare les résultats de chaque groupe à l'aide de tests statistiques. Ce test statistique renvoie un résultat dont la signification est la suivante : "si mon traitement est inefficace, quelle est la probabilité que j'observe ce que j'observe dans mon étude". Si cette probabilité (qu'on appelle "p-value" ou simplement "p") est suffisamment faible (<5%, c'est à dire <0,05), on rejette l'hypothèse d'inefficacité et on conclut que le traitement est efficace.
CE QU'ONT FAIT LES AUTEURS :
Ici les auteurs ont choisi un test de comparaison de pourcentages (test du Chi² ou test exact de Fisher).
Ces tests de comparaison de pourcentage permettent de comparer deux pourcentages... ou plus !
Lorsque ce test est utilisé pour comparer deux pourcentages (P1 et P2), il est simple à interpréter. En effet, le test nous dit "P1≠P2" ou "P1=P2"
Mais lorsque ce test est utilisé pour comparer trois pourcentages (P1, P2 et P3), le test nous dit "il y a au moins une différence entre ces trois pourcentages". Il faut alors réaliser des tests de comparaison des pourcentages deux à deux. (P1 vs. P2, P1 vs. P3, P2 vs. P3).
Les auteurs donnent les résultats d'un test de comparaison de trois pourcentages à l'aide d'un seul test, et n'ont pas comparé les pourcentages deux à deux. Ainsi ils comparent "Témoin" vs. "hydroxychloroquine" vs. "hydroxychloroquine+azithromycine" mais ne comparent pas deux à deux les groupes.
En réalité, si ils avaient présenté ces comparaisons deux à deux, ils n'auraient pas pu conclure que l'association "hydroxychloroquine+azithromycine" est plus efficace que l'hydroxychloroquine seule (la p-value est supérieure à 0,05 pour la comparaison de ces deux pourcentages).
POINT METHODO :
A l'issue d'une étude clinique, il est possible de faire deux types d'analyses : une analyse "en intention de traiter", ou une analyse "per protocole".
L'analyse "per protocole" porte sur l'ensemble des patients de l'étude pour lequel le protocole de l'étude a été suivi correctement. L'analyse en intention de traiter inclut tous les problèmes qui sont survenus pendant l'étude et ont fait que les patients ne sont pas allés jusqu'à la fin de l'étude. L'analyse "per protocole" vise à évaluer l'efficacité du traitement pour les patients chez qui tout se passe correctement du début à la fin. L'analyse "en intention de traiter" vise à évaluer l'efficacité du traitement au plus proche de la vraie vie (où tout ne se passe jamais correctement du début à la fin).
CE QU'ONT FAIT LES AUTEURS :
Ici les auteurs n'ont pas fait d'analyse en intention de traiter, et ils n'ont pas vraiment fait d'analyse per protocol non plus. Ce qu'ils ont fait relève plutôt du bidouillage de données (data dredging).
- Ils n'ont pas fait une analyse en intention de traiter
En effet, parmi les patients du groupe "hydroxychloroquine" (le groupe des patients traités), 6 patients ont été exclus de l'analyse car "perdus de vue". Les auteurs ont choisi de ne pas prendre en compte ces 6 patients dans l'analyse finale de l'efficacité du traitement.
Or ces patients (qui étaient tous dans le groupe traité par hydroxychloroquine et dont les auteurs ne précisent pas si ils avaient été traités par azithromycine) ne sont pas tout à fait anodins.
Parmi les patients "perdus de vue", on a donc :
- 3 patients transférés en réanimation
- 1 patient décédé
- 1 patient qui a décidé de sortir de l’hôpital et qui n'avait pas de virus le jour 1 (était il vraiment malade ?)
- 1 patient qui a eu un effet indésirable de l'hydroxychloroquine et a voulu arrêter sa participation à l'étude
Tous ces patients auraient du être inclus dans une analyse en intention de traiter en tant qu'échecs du groupe hydroxychloroquine.
Pour les patients qui ont été transférés en réanimation on aimerait avoir plus d'info sur leur devenir et pourquoi l'étude n'a pas pu être poursuivie en lien avec le service de réanimation.
A noter que le patient décédé est décédé à J3 alors que sa charge virale était négative depuis J2. Dans la vidéo publiée sur Youtube dans laquelle Didier Raoult présentait les résultats de cette étude, il affirmait que "si vous n'avez plus le microbe vous êtes sauvé". Ce patient est donc mort sauvé.
- L'analyse réalisée n'est pas non plus une analyse per protocol.
En effet, les auteurs présentent dans un tableau des pourcentages de patients "with virological cure" c'est à dire qui n'ont plus le virus.
Parmi les patients du groupe Témoin, beaucoup n'ont pas eu les dosages de suivi chaque jour jusqu'à J6. Les patients qui n'ont pas eu le dosage ont été considérés comme positifs ! Dans le tableau 3, les auteurs présentent ainsi les résultats à J6 : Dans le groupe témoin : 2 patients sur 16 sont "virological cure", ce qui laisse supposer que 14 patients sont toujours porteurs du virus. Or en réalité, sur ces 14 patients, 5 n'ont pas été testés !
Pire : dans le groupe hydroxychloroquine, les auteurs présentent un pourcentage de 14 patients négatifs sur 20 à J6. Or parmi ces 14 patients, 1 patient n'a pas été testé !
Donc dans le groupe Témoin, les patients non testés sont considérés comme positifs, et dans le groupe hydroxychloroquine le patient non testé est considéré comme négatif ! Magique.
AUTRES BIZARRERIES DE L'ARTICLE :
L'abstract (résumé) de l'article est très étrange. On y lit : "French Confirmed COVID-19 patients were included in a single arm protocol".
Il y a un groupe hydroxychloroquine et un groupe témoin, pourquoi l'abstract parle-t-il de "single arm"?
Il est aussi indiqué : "cases refusing the protocol were included as negative controls". C'est soit très mal dit, soit un délit... Car dit comme cela, on a l'impression que les gens qui ont refusé de participer ont été inclus dans le groupe Témoin. Inclure des patients qui ont refusé de participer serait un délit passible de 3 ans de prison.
Beaucoup plus grave : le protocole prévoyait d'inclure des patients adultes et enfants âgés d'au moins 12 ans. C'est ce protocole qui a été, c'est indiqué dans l'article, soumis à l'Agence Nationale de Sécurité du Médicament et des produits de santé (ANSM). Or dans les résultats on voit que deux patients de 10 ans ont été inclus. Les auteurs ont-il déposé un amendement au protocole auprès de l'ANSM et l'ANSM a-t-elle autorisé ces inclusions d'enfants de 10 ans? Ce n'est pas précisé dans l'article. Inclure des mineurs sans raison valable et en violation du protocole de l'étude est un délit, les mineurs étant des personnes particulièrement protégées par les lois relatives à la recherche biomédicale.
REACTION DE LA SOCIETE EDITRICE ET DE ELSEVIER :
L'International Society of Antimicrobial Chemotherapy (ISAC), société éditrice de l'International Journal of Antimicrobial Agents dans lequel a été publié l'article de Gautret et al. a publié une déclaration dans laquelle elle prend ses distances avec cet article et les conclusions tirées par ses auteurs.
Une déclaration commune de ISAC et Elsevier a également été publiée il y a deux mois, annonçant une procédure en cours au sujet de cet article.
C'est ce type de procédure qui peut aboutir à une rétractation de l'article. A ma connaissance le résultat de cette procédure n'a toujours pas été rendu public.
AU TOTAL :
Cet article comporte tellement de biais et d'insuffisances que ses résultats ne sont pas exploitables.
Les auteurs de cet article ont eu tort d'affirmer sur la base de ces résultats que l'association hydroxychloroquine+azithromycine est efficace.
Cet article n'aurait jamais du fonder une prescription en masse de l'hydroxychloroquine.
Cet article n'aurait jamais du passer la barrière du peer-review (revue par les pairs) et n'aurait jamais du être publié.