Covid-19 - L'étiquette "fact-checker" est-elle gage de compétence ?

[Article remanié le 11 août 2021 : un erreur y a été rectifiée. Cette erreur n'affectait que ce billet, et ne concernait pas le billet du 12 juillet dont il est ici question. Une nouvelle rectification est intervenue sur la même section le 13 août.]

Le Club de Mediapart m'a informé le 5 août 2021 de la dépublication de mon billet du 12 juillet, intitulé "Covid-19 - Les vaccins vus à travers la pharmacovigilance de l'OMS". Le message qui m'en informe affirme que les informations que j'apportais étaient des "fausses nouvelles", contraires à la Charte de Médiapart que j'ai signée. Pour affirmer que j'avançais des "fausses nouvelles", le Club de Mediapart s'appuie sur le travail d'un fact-checker qui, comme je l'apprends grâce à ce message du Club, avait pris mon billet pour cible.

La lecture de l'article de fact-checking publié par Fact&furious mérite une réponse point par point, tant elle est résolument éloignée des faits. Le point 10) abordé plus bas est sans doute le plus grave. Mais suivons son article au fil du texte.

1) Dès le titre et la première phrase, le fact-checker dénature le sens de mon billet, pour l'accuser ensuite d'être faux :

Or, la phrase de mon billet ne parlait pas du nombre d'effets indésirables dus aux vaccins, mais du nombre d'effets indésirables rapportés dans VigiAccess.

La nuance est de taille. Les mots de mon billet étaient pesés et, sachant que travaillais sur des données difficiles à interpréter, j'avais pris soin d'être factuel. Il se trouve qu'en effet, le nombre d'effets indésirables rapportés dans VigiAccess pour les vaccins anti-Covid est près de 10 fois supérieur au total des événements indésirables rapportés en 2019 sur tous les vaccins qui étaient considérés dans cet article (les 15 les plus administrés en 2019). Mais pardon, restons factuel et exact : le nombre d'événements indésirables rapportés dans VigiAccess a évolué depuis la rédaction de mon billet il y a près de 4 semaines. Pour les vaccins anti-Covid il est passé de 1.372.540 le 11 juillet à 1.630.624 le 5 août. Ce n'est plus 10 fois plus. C'est près de 15 fois plus (pour 4,3 milliards de doses administrées et non 3,3 milliards comme à l'époque.)

La conclusion de mon billet n'était d'ailleurs pas qu'il y a 10 fois plus d'effets indésirables, mais que, devant l'augmentation considérable des événements indésirables rapportés, nous sommes en présence d'un signal, qui devrait alerter.

Pour en revenir à notre sujet, Fact&furious commence donc par déformer un propos pour pouvoir le désigner comme faux. C'est élégant.

2) Fact&furious estime que mon analyse comportait des biais et des oublis, qui rendent la comparaison trompeuse. Il est plus que probable que j'ai commis des erreurs, oublié des aspects et mal interprété certaines données. Cela ne serait pas la première fois, et il m'est arrivé de corriger mes billets (en signalant mes erreurs et en les laissant visibles et biffées, par scrupule.) Mais les "erreurs" qu'il pointe sont massivement imaginaires.

Pour être honnête, il y a un aspect que je n'avais pas mentionné dans le billet, et qui aurait mérité de l'être : il peut y avoir un facteur de connaissance et de confiance, qui conduit plus facilement les personnes à signaler les effets secondaires de nouveaux vaccins que ceux de vaccins ou de médicaments déjà bien connus : si on fait un infarctus 10 jours après un rappel DT-Polio, on n'aura sans doute aucun soupçon envers le vaccin, et on ne pensera pas un instant à le déclarer au service de pharmacovigilance. Alors que dans le cas des vaccins anti-Covid, il est plus probable qu'on envisage qu'il puisse y avoir un lien et qu'on fasse une déclaration.

Revenons à notre fact-checker.

Les contre-vérités qu'il assène s'enchaînent à haut débit :

3) Fact&furious : "Vigibase est une base de données de l’OMS qui recense les effets indésirables liés aux médicaments au niveau mondial."

C'est une approximation (voir les FAQ de VigiAccess, qui nuancent), mais il m'arrive de résumer les choses ainsi et je ne lui reprocherai pas cette formulation.

4) Fact&furious : "Environ la moitié des données proviennent des États-Unis et environ 20 % de l’UE."

C'est en effet ce que dit le site associé à VigiBase. C'est sans doute vrai sur le volume habituel des déclarations enregistrées en général, mais ce n'est pas vrai en ce qui concerne les vaccins anti-Covid :

Le site VigiAccess fournit directement les pourcentages : 35% des déclarations proviennent des Amériques (Nord, Centre et Sud réunies), et 54% émanent d'Europe. C'est important pour la suite.

5) Fact&furious : "50% des données de pharmacovigilance proviennent du VAERS (Vaccine Adverse Event Reporting System). Un système dans lequel « n’importe qui peut signaler des données au système, y compris les fabricants de vaccins, les prestataires cliniques, les parents, les patients – n’importe qui » comme l’explique Lili Zhao dans les colonnes de USA Today. "

Dans le système américain de vigilance sur les effets indésirables des vaccins, VAERS, il est vrai que n'importe qui peut déclarer un effet indésirable s'il soupçonne être un lien avec un vaccin. Tout comme en France et dans de nombreux pays. Ce n'est en rien spécifique aux USA. C'est un principe retenu de longue date dans certains pays, qui favorise la remontée d'informations plus nombreuses que si on devait passer par un professionnel, et augmente les chances d'avoir des données statistiquement conséquentes. Or, des effets rares ne peuvent être détectés (pour éventuellement être évitables une fois identifiés) que s'ils finissent par émerger des données.

En lisant Fact&furious on pourrait penser penser que 50% des données concernant les vaccins anti-Covid proviennent des USA, ce qui est faux, comme on vient de le voir au 4). Le but de son raisonnement suit immédiatement :

6) Fact&furious : "Ce qui rend le système vulnérable au biais de déclaration."

Ainsi, l'idée développée serait que VigiAccess est polluée par des déclarations de n'importe qui en provenance des USA, et que la moitié des données sont suspectes. Si on suit le raisonnement de Fact&furious, puisque le principe de déclaration ouverte aux patients est largement répandu, la plupart des systèmes de pharmacovigilance n'auraient actuellement aucune utilité. Ce qui serait préoccupant. En effet, plus aucun groupe contrôle n'existe : les laboratoires qui menaient les essais sur les vaccins ont décidé d'offrir la vaccination à leur groupe placebo au bout de 6 mois ; il n'y aurait donc plus grande chance de repérer des effets indésirables si les vaccins en provoquent.

7) Fact&furious : "De plus, aux USA, tous les personnels médicaux sont tenus par la loi de déclarer les effets indésirables post-vaccinaux. Même si le vaccin n’en est pas la cause ou n’a aucun lien. Ce qui n’est pas le cas des autres vaccins (non COVID) utilisés dans le graphique de l’article."

C'est inexact à plus d'un titre

a) pour les vaccins anti-Covid, une liste limitée d'événements indésirables sont considérés comme devant être rapportés dans VAERS ; et pour tout autre événement "cliniquement significatif", les personnels soignants sont simplement "encouragés" à les déclarer ;

b) comme on l'a surligné ci-dessus, la notion de "tenus par la loi" n'apparaît pas dans la question des FAQ concernant les attentes envers les personnels soignants dans le cadre des vaccins anti-Covid,  alors qu'elle apparaît expressément à la question des FAQ concernant les autres vaccins.

Remarque hors polémique : manifestement, si on ouvre le document "VAERS Table of Reportable...", ce qui est obligatoire pour le personnel de santé, c'est de rapporter certains événement précisément listés, dans le cas de certains vaccins précis. Il s'agit vraisemblablement de mener une veille sur des événements indésirables qui font l'objet d'une surveillance, et pour lesquels une alerte est en cours.

Le deuxième point de l'extrait reproduit ci-dessus étend l'obligation à tout événement indésirable déjà indiqué par le fabriquant du vaccin comme un possible événement indésirable. Là aussi, il s'agit de renforcer la surveillance sur des risques déjà identifiés, sans doute dans le but d'affiner l'estimation du niveau de risque.

8) Fact&furious : "Exit donc le recensement de toutes les douleurs au point d’injection par exemple. Qu’elles soient légères, modérées ou intenses, elles représentent plus de 20% des effets secondaires déclarés pour les vaccins covid19."

Si je comprends bien le raisonnement de Fact&furious, puisque pour les vaccins habituels, il n'y a pas d'obligation de rapporter les effets indésirables bénins (tels que les douleurs dans la zone d'injection), alors ils ne sont pas rapportés — et seuls des événements vraiment graves sont comptabilisés.

C'est parfaitement faux.

D'abord, comme on vient de le voir, même aux USA il n'y a pas d'obligation de déclarer les effets indésirables tels que "douleurs dans la zone d'injection".

Et puis c'était facile à vérifier, mais Fact&furious ne s'en est pas donné la peine :

Certes, à la date du 5 août 2021, on trouve bien que, parmi les effets rapportés pour les vaccins anti-Covid, les trois effets "injection site pain" "vaccination site pain" et "pain" totalisent 314.459 déclarations, c'est-à-dire environ 20% du total des 1.630.124 effets secondaires enregistrés dans VigiAccess.

Au surplus, on peut s'interroger sur l'intégration de la ligne "pain" dans le total. "Pain" signifie "douleur" et rien n'indique qu'il s'agit majoritairement de petites douleurs normales après une injection. Ce n'est pas rigoureux.

Laissons toutefois la ligne "pain" dans le calcul, et regardons ce qu'il en est des vaccins habituels, que je prenais comme base de comparaison :

Pardonnez-moi de ne pas faire la recherche sur les 25 combinaisons de vaccin que j'ai épluchées pour mon billet. J'en prendrai quelques-uns de plus largement administrés :

Pour les vaccins anti-Polio — les plus administrés au monde selon l'OMS —, on trouve un total "injection site pain" + "pain" de 13.500 effets rapportés, parmi 120.000 effets rapportés : un peu plus de 11%. C'est moins que 20%, mais ce n'est pas "exit". Si on ajoute la ligne "crying" (pleurs), relativement rarement considérée comme grave chez des enfants, on arrive à 18%.

Pour le vaccin DT, les effets indésirables "pain et "injection site pain" représentent 21% des effets indésirables.

Pour le vaccin antigrippal, les événements "Injection site pain", "Pain" et "Vaccination site pain" totalisent 20% du total des événements rapportés

Et ainsi de suite.

Donc le fact-checker Fact&furious assène ici de criantes contrevérités : il n'y a pas proportionnellement moins de réactions du type "douleurs au point d'injection" rapportées pour les vaccins habituels que pour les vaccins anti-Covid. La proportion est semblable.

Cette observation soulève d'ailleurs une question : si, comme semble le soupçonner Fact&furious et d'autres commentateurs, une soudaine vogue de l'idéologie anti-vax était la "vraie" raison de l'envolée spectaculaire des déclarations d'événements indésirables concernant les vaccins anti-Covid, pense-t-on que les gens qui transgresseraient la loi en faisant de fausses déclarations, le feraient pour déclarer qu'ils ont eu mal à l'endroit de la piqûre ? Si c'était massivement des fausses déclarations, du "n'importe quoi par n'importe qui" visant à nuire aux vaccins, on observerait probablement une sous déclaration massive des petits bobos bénins. Le fait que, comme pour les autres vaccins, on trouve qu'environ 20% des déclarations d'événements indésirables concernent les douleurs dans la zone d'injection semble plutôt laisser penser que la déclaration se fait dans les mêmes conditions que d'habitude.

9) Fact&furious : "Seuls cinq effets secondaires spécifiques doivent faire l’objet d’une déclaration pour les vaccins non covid. Bien loin donc de la liste établie pour les vaccins COVID pour lesquels chaque effet doit être déclaré." On l'a déjà vu au point 7) : c'est faux.

10) Fact&furious : "L’auteur affirme également la chose suivante : « VAERS montre de son côté de façon plus détaillée : 9048 décès pour lesquels on soupçonne les vaccins anti-Covid » .
Pourquoi donc changer de source pour le nombre de morts ? L’OMS (via VigiAcces, voir capture ci-dessus) recense 7300 décès. "

Ce point mérite une explication. Fact&furious se trompe en affirmant qu'il y a eu 7300 décès recensés et montre ici qu'il n'a pas compris l'organisation des bases de pharmacovigilance, qu'il a manqué de logique, et qu'il n'a pas pris la mesure du problème.

Il a été nécessaire de changer de source parce que la base accessible au public VigiAccess ne permet pas d'accéder à certains chiffres, et qu'il était nécessaire de faire des comparaisons ailleurs. Le système VAERS, lui, permet de connaître le nombre de décès rapportés et enregistrés (ce qui n'est pas le nombre de décès dus au vaccins, nombre qu'il est bien difficile d'estimer. Mais il n'est pas interdit — à part dans un monde  salement inquiétant — de mener un travail de recherche sur des données et d'en tirer des questions.)

Fact&furious se trompe lourdement en interprétant le nombre présent sur la ligne "Death" comme le total des décès rapportés à VigiAccess.

Il ne s'agit en réalité que d'une petite part des décès rapportés et enregistrés par VigiAccess.

Sur VigiAccess, on ne peut pas connaître le nombre de décès rapportés. Mais on peut du moins vérifier ce que j'avance.

Reprenons les données apparaissant le 5 août sur la page de VigiAccess utilisée par Fact&furious.

Si vous ne voulez pas mener une démarche semblable, passez directement deux paragraphes en dessous, après "longues lignes". Mais si vous en avez la curiosité, voici la marche à suivre : ouvrez VigiAccess, lisez les avertissements, cochez la case "I confirm..." et cliquez sur "Search database". Dans la ligne qui apparaît en haut de la fenêtre qui s'ouvre, tapez "covid-19 vaccine" (ou le nom de n'importe quel médicament ou principe actif) et cliquez sur "Search". La première liste qui apparaît est identique pour tous les médicaments : c'est une liste de menus permettant d'explorer certaines répartitions statistiques. Cliquez sur "Adverse drug reactions (ADRs)". Une nouvelle liste s'affiche. Elle aussi sera identique pour tous les médicaments c'est la liste alphabétique des 27 catégories dans lesquelles sont dispatchés les effets secondaires. Un nombre à côté indique le nombre d'événements indésirables qui sont recensésSi vous cliquez sur une des lignes, une liste secondaire s'ouvre.

Comme Fact&furious, cliquons sur "General disorders and administration site conditions". On voit alors apparaître une liste de possibles effets secondaires. Ils sont classés par nombre de cas rapportés décroissant. La liste est si longue qu'elle est interrompue et qu'il faut cliquer sur "Show more reactions" pour dérouler la suite. Il faut cliquer plusieurs fois pour arriver au bout de cette liste. (Ce phénomène n'est pas spécifique aux vaccins anti-Covid : si vous tapez "paracetamol" à la place de "Covid-19 vaccine", vous aurez également de fort longues listes.)

Fact&furious a repéré une ligne "Death" et il en a déduit que c'était là qu'on déclarait les décès. D'où sa péremptoire affirmation : il y a eu 7300 décès rapportés dans le monde. Mais non. C'est totalement faux. Ces décès sont ceux qu'on ne savait pas classer ailleurs. En général, les décès apparaissent sur la ligne de l'effet secondaire retenu par le personnel qui fait la déclaration. Un décès qui suit une thrombose (diagnostiquée) n'apparaît pas dans la case "Décès". Elle apparaît dans une autre catégorie.

Pour l'heure, restons dans la catégorie "General disorders and administration site conditions" et faisons dérouler la liste en cliquant quelques fois sur "Show more reactions".

Vous tomberez sur plusieurs lignes de décès : "cardiac death", "sudden cardiac death", "brain death" etc. Ce sont aussi des décès enregistrés dans VigiAcess. Ils ne sont pas les plus nombreux. Il y a 26 autres catégories, avec des dizaines de lignes chacune, où des décès peuvent être rapportés.

Sauf que voilà : une trhombose mortelle ne s'appellera pas "thrombosis death", mais "thrombosis". VigiAccess ne permet pas de faire la différence, parmi les thromboses, les infarctus, les péricardites etc. entre ce qui a été mortel, les cas d'invalidité définitive, et les cas de rémission. C'est une énorme limite de VigiAccess. Mais d'autres bases de données permettent de faire cette distinction. On y reviendra plus bas.

A savoir : le système de classement des effets secondaires dans VigiAccess est standardisé : c'est le système de classement appelé MedDRA. Il faut une formation pour apprendre à y déclarer un effet secondaire dans la bonne "case" parmi les milliers répertoriées : le but est de  permettre aux professionnels de santé de classer précisément un effet secondaire sous la dénomination qui lui correspond le mieux, afin de pouvoir ensuite faire des statistiques valables sur les données.

Pour revenir à mon raisonnement : on ne peut pas trouver dans VigiAccess le nombre de décès enregistrés (hormis ceux, rares, qui portent "death" dans le nom de la case.)

Voilà pourquoi j'ai regardé VAERS (ou plus exactement le site OpenVAERS, qui rassemble les données de façon lisible). OpenVaers permet de connaître l'évolution des décès (rapportés, en lien potentiel mais non certain avec des vaccins) ces trente dernières années.

Si Fact&furious avait fait preuve de logique, il se serait demandé comment il se fait que le chiffre de 7300 qu'il a trouvé dans VigiAccess, et qu'il a pris pour le total des décès rapportés dans le monde, pouvait être inférieur au chiffre rapporté par VAERS pour les seuls USA. Il nous avait pourtant dit que les données de VigiAccess étaient encombrées par les déclarations de VAERS. Comment les 9000 et quelques décès aux USA, rapportés par VAERS à VigiAccess à l'époque de la "vérification" de Fact&furious, additionnés à ceux de tous les autres pays, pouvaient donner 7300 en tout ? Fact&furious a manqué de la plus élémentaire logique.

Je vais entrer ici dans la partie pénible du débunkage de l'article de Fact&furious.

On l'a déjà deviné, le chiffre de "7300 décès" (aujourd'hui Fact&furious dirait "8992") est considérablement sous-estimé par rapport aux décès réellement rapportés dans VigiBase.

Nous allons tenter de trouver un ordre de grandeur de cette sousestimation. (Il faut le répéter, on n'espérera pas en déduire le nombre de décès dus aux vaccins anti-Covid. Seulement une estimation à la louche du nombre des décès rapportés.)

Pour cela, nous allons étudier les données fournies par EudraVigilance.

EudraVigilance rassemble les données qui lui sont transmises par les systèmes de pharmacovigilance des membres de l'EEE (l'Espace Économique Européen, composé des 27 pays de l'Union Européenne, avec en plus l'Islande, la Norvège et le Liechtenstein.) Il s'agit, encore une fois, de données fondées sur une pharmacovigilance passive : seuls les décès rapportés par des médecins ou des patients à leur système de pharmacovigilance national peuvent y figurer. Et rien ne dit qu'un décès rapporté est nécessairement dû aux vaccins. Cela génère donc une grande incertitude sur le nombre des décès dus aux vaccins, mais ce n'est pas ce que nous allons chercher à calculer ici. Il se trouve qu'EudraVigilance est aussi construite sur le classement MedDRA.

A priori, sauf petit délai, ou sauf différentes politiques de transfert des données selon les pays de l'EEE, les données d'EudraVigilance sont donc incluses dans VigiAccess, et chaque effet indésirable enregistré en Europe se retrouve sur la ligne correspondante de VigiAccess.

Voici ce que je me propose de faire : pour chaque vaccin anti-Covid validé en Europe et donc répertorié dans EudraVigilance, je vais regarder le nombre de décès classés sous "Death" dans la catégorie "General disorders and administration site conditions", puis calculer le nombre total de décès rapportés dans toutes les catégories. Ce sera fastidieux mais instructif : on verra si "Death" sous-estime un peu ou beaucoup le nombre de décès rapportés. On fera l'hypothèse (incertaine) que la sous-estimation dans VigiAccess est du même ordre de grandeur qu'en Europe, afin de traduire les 8992 décès dans "Death" en une vague approximation du nombre de décès enregistrés par VigiAccess suite à un vaccin anti-Covid.

EudraVigilance se présente comme une base de données  avec deux façons d'accéder à un médicament donné. Pour les vaccins anti-Covid, je n'en connais qu'une : il faut se rendre sur cette page et cliquer sur la lettre C dans l'alphabet affiché.

En descendant le long de la liste qui s'ouvre, classée par ordre alphabétique, on trouve les 4 vaccins anti-Covid autorisés en UE,  à "Covid-19". Il faudra recommencer la même opération décrite ci-après pour chacun des 4 vaccins.

Commençons par le premier : le Vaccin de Moderna. Si on clique dessus, une page s'ouvre, avec quelques tableaux de chiffres et des graphiques. On ne s'y intéresse pas ici : on va chercher les données qui comportent les décès déclarés. Elles sont présentes dans certains des onglets du haut de la fenêtre : l'avant-dernier onglet à droite. Selon la taille de votre écran, il est probablement dissimulé, et pour y accéder, il faut cliquer sur le tout petit chevron près du coin supérieur droit de la fenêtre.

[Avertissement du 11/08/2021 : toute la méthode présentée entre les deux lignes de OOOOOOO est erronée. En effet, lorsqu'une personne ayant présenté par exemple une myocardite et une thrombose est décédée, cela peut parfois conduire à cocher "fatal" à la fois pour "myocardite" et pour "thrombose", et cela conduit à compter comme plusieurs décès celui d'une seule personne. Une autre méthode est en fait disponible pour décompter les décès enregistrés dans EudraVigilance. Elle est présentée plus bas, après la deuxième ligne de OOOOOOO.]

OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO

[Ce qui suit n'est donc pas la bonne méthode, puisqu'elle conduit à compter parfois plusieurs décès pour un même patient.]

Un menu déroulant s'ouvre alors, et il faut cliquer sur l'avant-dernière ligne visible (sur mon ordinateur c'est celle du milieu, et on ne voit pas son nom entier...).

La page peut prendre un certain temps à s'afficher. Lorsque c'est fait, on peut se munir d'une calculette, et commencer à compter. Les deux zones qui nous intéresseront sont cerclées en rouge : On changera de catégorie grâce au menu déroulant en haut à gauche et — quand la page aura cessé de "ramer", on verra s'afficher le nombre d'effets indésirables "Fatal" c'est à dire ceux qui se sont conclus par un décès, pour l'ensemble de la catégorie choisie en haut à gauche.

Notez qu'il est possible de détailler les chiffres et leur répartition pour chaque événement indésirable précis, en cliquant sur sur son intitulé dans la liste qui apparaît à gauche, sous la catégorie. Si on veut connaître le nombre de thromboses rapportées, par exemple, il faut choisir la catégorie "Vascular disorders" et cliquer sur "thrombosis" dans la liste qui s'affiche en-dessous. Mais ce ne sera pas suffisant : il faudra aussi regarder à "Aortic thrombosis", "Arterial thrombosis", "Deep vein thrombosis" etc. On ne cherchera pas à entrer dans le détail ici, et on se contentera du total affiché par catégorie.

Dans ce dernier tableau situé en bas de la page, qui détaille la répartition des issues ("outcome") des effets rapportés dans la catégorie sélectionnée, vous remarquerez qu'en dessous de la ligne "Fatal", se trouvent également 5 autres lignes : dans l'ordre "Pas rétabli/Pas résolu", "Non précisé", "Rétablis/Résolu", "Rétabli/Résolu avec des séquelles", "En cours de rémission/résolution" et "Inconnu".

Ainsi, cette page nous indique qu'en Europe, après des injections du vaccin de Moderna, des troubles du sang et du système lymphatique ("Blood and lymphatic system disorder") ont été rapportés à l'un des systèmes de pharmacovigilance des pays de l'EEE et transmis ensuite à EudraVigilance. La page indique que parmi ces cas rapportés, 49 ont été "fatals", 1483 sont "non résolus", que tous ont été précisés, que 1000 sont "résolus", 13 "résolus avec des séquelles", 783 "en cours de rémission" et 599 ont un dénouement "inconnu".

Si on le souhaite, on peut prendre note de chacun de ces sous-totaux.

Mais on n'a pour l'instant enregistré ces chiffres que pour une des 27 catégories existantes.

En cliquant en haut sur le menu déroulant (zone cerclé de rouge), il ne reste plus qu'à sélectionner chacune des 26 autres catégories. Et de noter pour chacune d'elles les chiffres qui nous intéressent.

Puis il faudra recommencer pour les 27 catégories de chacun des 3 autres vaccins...

Je n'indiquerai pas davantage le détail des opérations : elles sont désormais répétitives et lentes (le site a tendance à ramer et parfois à bloquer.) Ah si : en arrivant à la catégorie "General Disorders and Administration Site Pain", pensez à cliquer sur "Death" dans le long menu de gauche, et à enregistrer le nombre des cas de "Death" fatale...

N'y aurait-il pas une façon de télécharger ces données pour leur faire subir un traitement automatisé ? Hélas, il semble que non. Plusieurs chercheurs se plaignent de l'incroyable difficulté à accéder aux données.

Voici ce qu'on trouvait dans EudraVigilance au 6 août 2021 :

Ainsi, là où Fact&furious aurait lu 1773 décès rapportés à Eudravigilance après injection du vaccin Moderna, en réalité EudraVigilance en a à ce jour enregistré 5460.

EudraVigilance en a en outre enregistré 9868 après une injection de Pfizer, 4534 après AstraZeneca et 733 après Janssen. Soit au total 20595 décès rapportés en Europe et enregistrés dans EudraVigilance.

On observe que l'écart entre le nombre de décès rapportés en tant que "Death" et le nombre total des décès rapportés n'est pas uniforme : pour Moderna le nombre total est environ 3 fois supérieur au nombre figurant à la ligne "Death". Pour Pfizer et AstraZeneca, c'est 8 fois plus, et pour Janssen 5 fois plus.

OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO
[Ce qui suit propose une méthode plus fiable.]

[Pour autant : on s'est rendu compte, le 13 août 2021, que les fichiers téléchargés avaient été tronqués, parce que la taille des fichiers réels dépasse les capacités d'exportation du système d'EudraVigilance. On rectifie donc.]

Il est possible de télécharger l'ensemble des résumés individuels d'événements indésirables depuis le dernier onglet de la page ("Line listing")

La page qui s'ouvre demande d'abord de sélectionner différents critères. Si ce n'est fait, sélectionner 2021 pour l'année ("Gateway Date"). On peut se contenter de sélectionner "Serious" (grave) dans la catégorie "Seriousness" ou, si l'on veut tout télécharger y compris les événements indésirables bénins, de ne rien sélectionner. [Attention : si on ne sélectionne pas "Serious" ou d'autres critères, pour Pfizer et pour AstraZeneca, les fichiers sont trop gros pour être exportés entiers, et seules les 249904 premières lignes (premiers patients) sont téléchargées. C'est ainsi que lors de la correction du 11 août, une partie des données avait été perdues. Les chiffres ci-après correspondent aux fichiers complets]. Une fois la sélection faite, cliquer sur "Run Line Listing Report". On voit alors apparaître un tableau :

Chaque ligne du tableau, commençant par un identifiant, correspond à un patient, et donne diverses informations le concernant et concernant la déclaration d'événements indésirables le concernant. La colonne "Reaction List PT..." liste les événements indésirables déclarés par les patients (ou par des tiers.) Si le patient est décédé, au moins l'un des symptômes mentionnés dans cette case est qualifié de "fatal" :

Ici, la méthode de décompte des décès consistera donc à faire compter, par un procédé informatique, le nombre de lignes du tableau comportant au moins une fois le mot "fatal".

On commencera par télécharger l'ensemble du tableau sous forme de fichier CSV : pour cela, descendre au bas de la première page affichée, et cliquer sur Export - Data - CSV.

Une fois téléchargé, si on a quelques notions dans ce domaine de l'informatique, on pourra traiter le fichier en lignes de commandes (dans une "Console" ou un "Terminal"). Si j'ai nommé le fichier ModernaReport.csv, la commande grep -ci fatal ModernaReport.csv donne comme résultat le nombre de lignes du fichier ModernaReport.csv comportant le mot "fatal". Ici (à la date du 13 août 2021), on trouve 3149.

Si on répète l'opération pour Pfizer, pour AstraZeneca et pour Janssen, on obtient le nombre de patients ayant succombé à un événement indésirable enregistrés par EudraVigilance suite à l'injection d'un des 4 vaccins autorisés en Europe : 6256 pour Pfizer, 2880 pour AstraZeneca et 333 pour Janssen. Soit 12618 au total.

Si on se reporte à la section erronée ci-dessus, on peut encore y apprendre comment récupérer les chiffres correspondant à la ligne "Death" pour chaque vaccin. Puisqu'ils ont un peu évolué depuis la publication de ce billet, on les a mis à jour pour les comparer aux nombre de décès enregistrés. Le tableau résumé permet de comparer :

La colonne de droite "Coef" indique par combien il faut multiplier le chiffre indiqué par EudraVigilance dans "Death" pour obtenir le nombre de décès réellement enregistrés. Il est proche de 2 pour Moderna et Janssen, proche de 5 pour Pfizer et AstraZeneca.

Et selon la méthode mise en œuvre par Fact&furious, on dirait qu'il y a eu 3796 décès enregistrés dans EudraVigilance au 11 août pour les Vaccins anti-Covid, alors qu'il y en a eu 3,3 fois plus : 12618.

L'écart entre le chiffre figurant à la ligne "Death" et celui des décès enregistrés ne semble ni fixe ni répondre à une logique claire.

Il ne sera donc pas aisé d'appliquer un coefficient permettant d'estimer le nombre total de décès enregistrés à partir du nombre de "death" dans VigiAccess. D'autant moins qu'on ne sait pas si les usages des personnels soignants dans leur façon de classer les effets indésirables dans le système MedDRA est uniforme autour du monde. Sans parler du fait que les 4 vaccins utilisés en Europe et aux USA ne sont pas les seuls dans le monde, et qu'on n'a aucune visibilité sur la façon dont les éventuels effets indésirables enregistrés après administration des vaccins chinois, indien, russe ou cubain sont enregistrés dans VigiAccess.

Une précaution semble encore nécessaire : les rapports enregistrés par VAERS semblent donner lieu à des décomptes divergents : le site gouvernemental qui les met à disposition a également un outil d'exploration en ligne, "CDC Wonder", dans lequel on trouve les chiffres ci-après si l'on interroge le nombre de décès : 

On lit un total de 5739 événements (décès) rapportés pour les 3 vaccins. (Voir la 2ème ligne en rouge. Le total est plus élevé, à la ligne du bas correspond probablement en raison des cas où la première et la seconde dose ne correspondaient pas au même vaccin, et où les deux font l'objet d'une déclaration, pour un même décès.)

Dans le même temps, le site OpenVAERS, qui offre une exploration plus facile d'accès de la même base de données, fournit d'autres chiffres :

C'est-à-dire un total de 12366 décès.

Il n'est pas aisé de savoir quel site fournit un total plus fiable que l'autre. Il faudrait se pencher dans l'énorme base de données elle-même, ce qu'on se gardera de faire ici.

Tout ce que l'on peut dire, c'est qu'en se basant sur une méthode erronée, Fact&furious était très loin du compte lorsqu'il affirmait que seuls 7300 décès avaient été rapportés aux systèmes de pharmacovigilance dans le monde pour les vaccins anti-Covid. Pour l'Union Européenne, ils sont plus de 12.600 à avoir été rapportés et enregistrés. Aux USA 12.366 selon OpenVaers.com, 6356 selon le gouvernement. Certes un mois plus tard que lorsque Fact&furious rédigeait son article. Mais aujourd'hui, selon son approche, Fact&furious ne dirait pas "au moins 19.000 sans compter les remontées du Canada, de l'Amérique du Sud, de l'Amérique Centrale, de l'Asie, de l'Afrique, de l'Océanie et de la partie hors EEE de l'Europe" : il dirait aujourd'hui "9295 pour le monde entier", puisque c'est le chiffre réactualisé apparaissant à la ligne "Death" de VigiAccess pour les vaccins anti-Covid-19 au 13 août 2021...

11) Fact&furious : "Une fois de plus, la question ici n’est pas de minimiser les effets secondaires des vaccins. Il est fort probable que la vaccination ait causé la mort d’individus mais dans des proportions bien moindre que ce que laisse entendre certains articles. Aujourd’hui, en date du 13 juillet 2021, nous en sommes à 3,5 milliards de doses injectées dans le monde."

En méconnaissant l'organisation du classement des événements indésirables dans VigiAccess, Fact&furious minimise pourtant considérablement le nombre de décès rapportés aux bases de pharmacovigilance à la suite de vaccins anti-Covid. Les USA et l'Espace Économique Européen, qui à eux deux comptent environ 20% des doses injectées dans le monde, ont rapporté au moins 19.000 décès à VigiAccess. On se gardera d'extrapoler à partir de ces 20%, puisque les vaccins ne sont pas du même type partout dans le monde, et que ces 20% ne sont manifestement pas reflétés dans la part de déclarations reçues par VigiAccess (USA et EEE y pèsent probablement entre 60 et 80 % du total).

Mais on peut l'affirmer : Fact&furious n'a pas pris conscience de la mesure du nombre des déclarations, et les minimise sérieusement.

12) Fact&furious : "L’article se finit par la citation d’une méta-analyse en faveur de l’ivermectine dans le traitement du COVID19. Alors que d’autres études montrent son inefficacité. Difficile d’être aussi affirmatif dans ce cas."

Ce fact-checker n'a donc pas de grandes notions en Evidence Based Medicine, ni en statistiques, ou alors il ne s'est même pas donné la peine de lire l'étude qu'il oppose à une méta-analyse.

En EvidenceBased Medicine (science fondée sur des preuves) la méta-analyse (et la revue systématique) sont les plus hauts niveaux de preuve. Leur solidité scientifique dépasse celle des Essais contrôlé randomisés.

Fact&furious confond deux notions très différentes : "pas de signification statistique" et "preuve que ça ne marche pas". L'étude de Vallejos et al. qu'il met en lien dans son article ne montre pas que l'ivermectine est inefficace, comme l'affirme Fact&furious : elle échoue simplement à montrer quoi que ce soit, faute de puissance statistique suffisante. J'avais proposé une approche des ces notions, mais pour résumer : il est tout à fait possible de mener une étude ne trouvant aucune efficacité à un traitement pourtant très efficace. Par exemple si vous souhaitez tester l'effet de l'aspirine contre le mal de crâne, que vous donnez de l'aspirine aux 1000 membres d'un groupe traité et un placebo aux mille membres d'un groupe contrôle, mais qu'au départ, seuls 2 ou 3 participants de l'étude ont mal au crâne, alors l'immense majorité des participants ne verront aucune amélioration de leur état, ni grâce à l'aspirine ni grâce au placebo. Et l'étude conclura "on n'a pas observé d'effet significatif de l'aspirine sur le mal de crâne"... L'étude Vallejos et al. a non seulement une limite de ce type (les participants, jeunes, étaient peu concernés par un risque d'hospitalisation) mais bien d'autres limites encore, qui rendaient peu probable — dès sa mise en place — d'observer un effet de l'ivermectine. Même si elle était efficace. J'ai par exemple interrogé M. Vallejos sur le nombre de participants ayant pris de l'ivermectine avant leur inclusion à l'essai. Sa réponse est déroutante, ou sans doute uniquement adressée à une autre question : "Ce n'était pas l'objet de notre étude."

De plus, face à une étude menée sur 500 personnes, jeunes (donc à faible risque d'hospitalisation, traitées avec de faibles doses d'ivermectine, dans une région où l'on avait tendance à consommer de l'ivermectine par précaution, et qui n'a pas montré de différence statistiquement significative entre les deux groupes, on peut d'une part soupçonner les limites de l'étude (ce que les auteurs reconnaissent) et d'autre part, en aucun cas on ne peut conclure d'une telle étude que les résultats obtenus par les méta-analyses de Cobos-Campos et al., de Kory et al., de Karale et al., de Hariyanto et al., de Bryant et al. de Hill et al., publiée dans des revues après validation par les pairs, n'ont pas de valeur. Elles représentent le plus haut niveau de preuve scientifique possible. Dans le domaine des médicaments, aucune preuve n'est infaillible, certes, mais pour continuer à s'opposer aux résultats de méta-analyses, il faut des preuves scientifiques du contraire. Aucune n'existe pour l'instant.

(Une méta-analyse fait exception : la méta-analyse de Roman et al., qui prétend prouver l'inefficacité de l'ivermectine. Mais on a montré qu'elle avait interverti et tronqué des données à plusieurs reprises ; et, bien que publiés après peer-reviewing, ses résultats n'ont aucune valeur.)

Au final, on a ici pointé des légèretés de Fact&furious avec les données et avec la science. L'auteur de l'article de Fact&furious présente ses propres croyances comme des faits établis, sans rien apporter pour les étayer. Et ses croyances sont massivement erronées. Publier de telles inepties, lorsque des millions de vies humaines sont en jeu, c'est proprement irresponsable.

Ce billet aura au passage été l'occasion de témoigner que l'accès aux données de pharmacovigilance est un parcours du combattant, avec de larges zones inaccessibles. On est bien loin de la transparence nécessaire à la confiance.

Pour conclure, Mediapart semble avoir fait confiance à un individu qui se présente comme "fact-checker", mais dont les compétences et la rigueur sont manifestement limitées : pas un des arguments déployés par Fact&furious ne résiste au... fact-checking.

Dans l'esprit de notre journal en ligne, les fact-checkers autoproclamés sont-ils une source d'information fiable et incontestable ?

[Mise à jour du 8/8 : Fact&Furious m'a présenté ses excuses en reconnaissant ses erreurs. Mais en me promettant de nouveaux arguments, sur son site pour le 9/8.]