Enzo Lolo
Abonné·e de Mediapart

60 Billets

0 Édition

Billet de blog 28 avr. 2022

Enzo Lolo
Abonné·e de Mediapart

Peut-on apprendre quelque chose des chiffres de la DREES ?

Illustration détaillée des approximations générées par la DREES dans les chiffres des appariements, où comment la DREES préfère inventer des données plutôt que d'indiquer qu'elles sont manquantes.

Enzo Lolo
Abonné·e de Mediapart

Ce blog est personnel, la rédaction n’est pas à l’origine de ses contenus.

Chaque semaine, la DREES met à jour les données résultant des appariements entre 3 fichiers produits par Santé Publique France : les fichiers de vaccination anti-Covid (VAC-SI), de tests (SI-DEP) et de données hospitalières (SI-VIC).

Peut-on en tirer des indications sur l’efficacité des vaccin, comme cela a parfois été fait pour affirmer que « la vaccination protège contre les formes sévères de Covid-19 » ?

Ce n’est pas certain. En effet, outre certains biais possibles, les données fournies par la DREES ne reposent pas toujours sur des observations, et ne sont donc pas infaillibles. Comme indiqué par la DREES1, dans certains cas (“une minorité”, nous dit-on), on ne parvient pas à identifier le statut vaccinal d’un patient, et la donnée du statut vaccinal est donc manquante ; et dans ce cas, plutôt que de créer par exemple une case « statut vaccinal inconnu », la DREES a choisi d’extrapoler, c’est-à-dire d’attribuer un statut vaccinal à ceux pour qui on ne le connaît pas, en supposant que les données manquantes ressemblent aux données connues. Une plage d’incertitude existe donc sur les données fournies, et on n’en connaît pas l’étendue.

Pour illustrer le problème que cela pose dans la manipulation et l’interprétation des données fournies par la DREES, on s’est appuyé sur l’outil graphique mis à disposition des internautes par la DREES.

Site de la DREES (détail) © DREES

En sélectionnant, grâce au bouton « +Ajouter un jeu de données », le fichier « Covid-19 : résultats par âge issus des appariements » et en filtrant les données (grâce au bouton qui permet cette option), on a sélectionné les données concernant les 0-19 ans, en se restreignant à l’année 2022 pour une meilleure lisibilité.

Site de la DREES (détail) © DREES

On a choisi le groupe d’âge 0-19 ans parce que les événements (admissions en soins critiques, décès….) sont rares, et que de ce fait ils permettent d’observer finement la façon dont est traitée par la DREES une donnée concernant un patient dont le statut vaccinal est inconnu. En sélectionnant les données que l’on souhaite afficher (décès PCR + pour Covid ) et quelques options de présentation comme détaillé sous ce lien (données par jour, en colonnes, ventilées par statut, empilement normal des données etc.), on obtient un graphique, indiquant sous forme de colonnes, pour chaque jour de 2022, le nombre de personnes de 0 à 19 ans décédées « pour Covid »2 avec PCR positif, réparties selon leur statut vaccinal.

Décès "pour Covid" chez les 0-19 ans en 2022 © DREES

Sur le graphique (plus instructif à lire en ligne que sur la reproduction ci-dessus), la DREES nous indique qu’une personne de cette tranche d’âges est décédée le 2 janvier, une autre le 6 janvier, quatre autre le 9 janvier etc. La couleur des colonnes indique le statut vaccinal. Ainsi, la personne décédée le 2 janvier avait un schéma vaccinal « complet depuis 3 à 6 mois, sans rappel » et celle décédée le 6 janvier n’était pas vaccinée. Mais si on regarde les colonnes correspondant aux décès des 12, 13, 15, 19 et 20 janvier, par exemple, on voit que chaque colonne, bien que correspondant chacune à 1 décès, est multicolore. C’est manifestement que la DREES n’a pas pu établir leur statut vaccinal réel, et, dans le processus d’extrapolation, a considéré qu’il convenait de « répartir » chacune de ces personnes entre plusieurs statuts vaccinaux possibles. Ainsi, la personne décédée le 12 janvier est comptée comme le cumul de plusieurs fractions de personnes : 0,01 personnes avec une primo-dose récente, 0,02 personnes avec une primo-dose efficace, 0,31 personnes non-vaccinées, 0,16 personnes avec schéma vaccinal complet entre 3 et 6 mois sans rappel, 0,05 personnes avec schéma vaccinal complet de moins de 3 mois sans rappel, 0,3 personnes avec schéma vaccinal complet de plus de 6 mois sans rappel, 0,02 personnes avec schéma vaccinal complet et rappel depuis entre 3 et 6 mois, et 0,13 personnes avec schéma vaccinal complet et rappel de moins de 3 mois.

Il est bien évident que la personne décédée le 12 janvier avait un statut vaccinal, certes inconnu de la DREES, mais unique, et non pas composite.

A quoi correspondent donc ces chiffres (0,01 ; 0,02 ; 0,31 etc.) ? Les explications fournies par la DREES quant à sa méthodologie, sur la page des questions/réponses déjà mentionnée1, ne sont pas explicites dans le cas d’un seul événement, et ne suffisent pas à l’expliquer. D’ailleurs, pourquoi la répartition entre statuts est-elle sensiblement différente pour chacun des patients décédés ? Par exemple, la personne décédée le 26 mars 2022 compte pour 0,75 en non-vaccinée et pour 0,25 en schéma vaccinal complet de 6 mois ou plus sans rappel. Pourquoi 0,75 et 0,25, et pourquoi ne lui a-t-on attribué aucune part parmi les autres schéma vaccinaux ? C’est mystérieux.

[Mise à jour du 29 avril 2022 : ce billet a été rédigé sur la base des données présentes sur le site de DREES du 22 au 28 avril ; or, le lien fourni plus haut conduit aux graphiques incorporant les mises à jour successives. Ainsi, le graphique obtenu en cliquant sur le lien aujourd'hui ne correspond plus à l'image capturée le 28 avril 2022 et publiée ci-dessus. Bien sûr il inclut de nouvelles données, mais même les données passées ont été actualisées et ne correspondent plus à la description faite au paragraphe précédent. Ainsi, tel qu'il apparaît le 29 avril, le décès du 26 mars n'est plus réparti en deux statuts vaccinaux mais en 7 ; inversement, les décès des 13 et 19 janvier qui apparaissaient le 28 avril comme répartis en 7 couleurs — 7 statuts différents — apparaissent le 29 avril répartis en 2 statuts : à 0,75 non vaccinés et 0,25 vacciné complet entre 3 et 6 mois sans rappel. Ces modifications affectent également les chiffres indiqués dans la suite de ce billet, mais pas son raisonnement. Elles interrogent encore un peu plus sur la construction et la fiabilité des extrapolations effectuées par la DREES.]

Quelles sont les conséquences de ces extrapolations ? Afin de s’en faire une idée, toujours sur le même graphique, regardons la colonne correspondant au 28 janvier 2022. Ce jour là, 2 décès sont signalés, dont 1,01 en non-vacciné et « les 0,99 autres » répartis selon les autres statuts vaccinaux. Comment faut-il interpréter cette colonne ? Y a-t-il eu 1 décès chez une personne clairement identifiée comme non-vaccinée et 1 autre décès chez une personne au statut vaccinal inconnu, à laquelle on a attribué une part de 0,01 non-vaccinée  et 0,99 vaccinée selon les autres statuts ? Ou bien aucune des deux personnes décédées n’avaient de statut vaccinal connu, et leur a-t-on attribué 0,505 part non-vaccinée chacune ? A moins d’avoir accès aux fichiers bruts de la DREES, on ne peut pas trancher avec certitude. La même question se pose pour la journée du 9 janvier 2022, avec 4 décès, dont 3,14 personnes indiquées comme non-vaccinées. A quoi correspondent ces 3,14 personnes ? S’agit-il de 3 personnes clairement non vaccinées, et d’une personne au statut inconnu, estimée à 0,14 non-vaccinée et 0,86 vaccinée selon divers statuts vaccinaux ? Ou s’agit-il de 4 personnes au statut vaccinal inconnu, pour lesquelles, en moyenne, on a attribué une part de 0,785 non-vaccinée (4 X 0,785 = 3,14) ? Ou encore, a-t-on une situation intermédiaire, avec 1 ou 2 personnes clairement non-vaccinées et 2 ou 3 dont on a réparti le statut vaccinal entre les différentes options parce qu’on ne le connaissait pas ? On ne peut rien affirmer à coup sûr.

Ainsi, dès lors qu’il y a plusieurs personnes décédés sur une même journée, on ne se contente pas d'une incertitude sur les statuts vaccinaux, mais on y ajoute une incertitude sur l’étendue de l’incertitude elle-même.

A partir des données que fournit la DREES, que peut-on savoir à coup sûr à propos du statut vaccinal des personnes dont le décès « pour Covid » est intervenu entre le 1er janvier et le 10 avril 2022 chez les 0-19 ans ? Il y a eu, selon la DREES, 24 décès, dont 4 clairement identifiés comme non-vaccinés (le 6 janvier, puis les 3, 20 et 21 février), et 3 clairement identifiés comme vaccinés (schéma vaccinal complet entre 3 et 6 mois sans rappel le 2 janvier, primo dose efficace le 16 février, et schéma complet de 6 mois ou plus sans rappel le 13 mars). Donc on sait que les statuts vaccinaux sont connus pour 7 des 24 patients décédés.

Pour les 17 autres décès, deux groupes sont à distinguer : le statut vaccinal est inconnu de la DREES pour 13 d’entre eux au moins, et pour les 4 autres (trois des 4 décès du 9 janvier et un des 2 décès du 28 janvier), on ne sait même pas si leur statut vaccinal est connu ou non par la DREES.

Une chose est certaine : dans la grande majorité des décès pour Covid intervenus chez les 0-19 ans en 2022 (entre 13 et 17 sur 21), la DREES n’a pas pu identifier le statut vaccinal.

On le voit clairement : dans cet exemple, les données fournies par la DREES comportent une grande part d’inconnu, et sont donc compatibles avec avec toutes les hypothèses intermédiaires comprises entre deux hypothèses extrêmes :

– une situation extrême où 3 jeunes vaccinés et 18 non-vaccinés seraient décédés du Covid-19, ce qui suggérerait une grande efficacité du vaccin pour protéger les jeunes contre le risque de décéder du Covid-19 ;

– une situation inverse, où 17 jeunes vaccinés et 4 non-vaccinés seraient décédés du Covid-19, ce qui pourrait suggérer une contre-efficacité majeure du vaccin dans cette tranche d’âge — dont la population n’est vaccinée qu’à 34% en ce début 2022 — et donc d’un effet vulnérabilisant plutôt que protecteur.

Cette énorme marge d’incertitude rend donc impossible de tirer des données de la DREES quelque enseignement que ce soit sur l’efficacité vaccinale dans cette tranche d’âge. (Précisons qu’il ne s’agit pas ici de la question des potentiels effets indésirables des vaccins anti-Covid, mais uniquement de celle de l’efficacité de ces vaccins pour protéger du Covid-19 et de ses effets.)

Remarquons au passage que, dès lors que plusieurs événements sont regroupés, on perd la possibilité de repérer ceux pour lesquels le statut vaccinal est connu. On l’a vu ci-dessus lorsque plusieurs décès étaient intervenus le même jour (9 janvier, 28 janvier) et de la même façon, si par exemple au lieu de détailler les données de mortalité « pour Covid » des 0-19 ans jour par jour, on les groupe par mois, la présentation du graphique invisibilise en grande partie cette réalité de l’incertitude sur les statuts vaccinaux :

Décès "pour Covid" chez les 0-19 ans en 2022 © DREES

Rien sur ce graphique ne permet de savoir que parmi les 2,4 décès du mois de janvier 2022 chez des jeunes avec un schéma vaccinal complet entre 3 et 6 mois sans rappel, un seul statut vaccinal a clairement été établi et que le 1,4 restant résulte d’une extrapolation, sans information sur le statut vaccinal réel. Et rien n’indique que parmi les 7,26 décès de jeunes non-vaccinés en janvier, entre 1 et 4 seulement correspondent à des statuts vaccinaux réellement établis.

La marge d’incertitude est-elle d’une aussi grande ampleur dans les autres tranches d’âges que ce qu’on observe chez les 0-19 ans ?

Pour la tranche 20-39 ans, on peut regarder et obtenir quelques informations.

Décès "pour Covid" chez les 20-39 ans en 2022 © DREES

Parmi les 60 décès « pour Covid » enregistrés en 2022 chez les 20-39 ans, entre 14 et 22 sont de statut vaccinal inconnu. (Si l’on était rigoriste, on pourrait même se demander si, par exemple, les deux décès indiqués le 4 janvier 2022, comptabilisés comme 1 non-vacciné et 1 schéma vaccinal complet de moins de 3 mois sans rappel, correspondent bien à deux décès dont le statut vaccinal était identifié par la DREES, ou à deux décès sans statut vaccinal connu et répartis par extrapolation à 0,5 chacun dans les deux statuts vaccinaux indiqués. Auquel cas on pourrait se sentir incertain sur 26 des 60 statuts vaccinaux.)

Quoi qu’il en soit, sur cet échantillon des décès « pour Covid » observés en 2022 dans la tranche des 20-39 ans, la part des statuts vaccinaux inconnus est moins prépondérante que chez les 0-19 ans, mais elle est toutefois consistante : entre 13 et 26 sur 60, c’est-à-dire entre 21 et 43%.)

Quelle serait la marge d'incertitude pour les tranches d'âges à partir de 40 ans ?

Rien, dans les informations fournies par la DREES, ne permet de l’estimer. En effet, dans les tranches d’âges supérieures, les événements (décès, admissions en soins critiques…) sont moins rares que chez les 0-39 ans, ce qui ne permet à peu près jamais d’isoler des jours avec un seul événement. Dès lors, le nombre d’événements comportant une inconnue sur le statut vaccinal est noyé dans le total cumulé des événements, ce qui rend impossible d’en évaluer l’importance.

Une chose est certaine : puisque la DREES donne des résultats répartis par statut vaccinal en les extrapolant mais sans en distinguer la part établie avec certitude, sans fournir, pour chaque type d’événement (PCR positif, hospitalisation, admission en soins critiques, décès…) le nombre de personnes dont le statut vaccinal est inconnu et a été extrapolé, elle rend impossible de se faire une idée de la marge d’erreur incluse dans les résultats dispatchés par statut vaccinal qu’elle affiche. Et donc, en toute logique, il est impossible d’arriver à conclure quoi que ce soit sur l’efficacité des vaccins, que ce soit contre les infections, contre les formes sévères ou contre le risque de décéder du Covid-19, en s’appuyant uniquement sur les données publiées par la DREES.

[Mise à jour du 1er mai : D'autres types d'anomalies sont observables dans les données issues des appariements entre fichiers que fournit la DREES. Notamment, alors que ces données sont tirées des fichiers de Santé Publique France, les chiffres sont différent. Ainsi, le fichier SI-VIC avec répartition par tranches d'âges indique que, entre le 31 mai 2021 et le 17 avril, 51 décès "avec diagnostic de Covid" sont intervenus en France chez les 0-19 ans (ceci inclut les décès pour Covid et des des décès avec Covid pour d'autres causes). Précisément : 30 décès chez les 0-9 ans et 21 chez les 10-19 ans. Or, dans cette même tranche d'âges de 0 à 19 ans, et entre les mêmes dates, qui couvrent l'ensemble de la période traitée par la DREES à ce jour, celle-ci affiche 66,87 décès "avec Covid". Il y a donc 15,87 décès supplémentaires de jeunes que la DREES indique avoir obtenus d'un fichier où ils n'existent pas. Sans doute y a-t-il une explication liée aux processus complexes d'appariement, mais cela constitue une raison supplémentaire de considérer avec prudence les chiffres de la DREES : si le nombre d'événements indiqués ne correspond pas à ceux des fichiers d'où ils proviennent et que les statuts vaccinaux sont en partie inventés et instables d'une version à l'autre des fichiers de la DREES, il semble hasardeux de s'appuyer dessus pour en tirer des conclusions qui engagent la politique sanitaire du pays.]

C’est pourquoi des chercheurs ont demandé que soient divulguées les données brutes sur lesquelles s’appuie la DREES. En vain jusqu’ici.

Une dernière remarque.

Le principe même de publier les données d’hospitalisation et de décès en fonction du statut vaccinal a une conséquence plus ou moins conscientisée : cela conduit à renforcer l’impression que la vaccination est le seul facteur qui ait un impact sur les risques d’infection, de forme sévère ou de décès face au Covid-19.

Or d’autres facteurs peuvent avoir un impact.

Il serait par exemple instructif que les événements hospitaliers liés au Covid-19 soient ventilés selon les comorbidités ; ou selon le taux de vitamine D (suffisance, insuffisance, ou carence) ; ou selon les éventuels traitements précoces reçus par les patients avant leur hospitalisation. Ce pourrait même être une façon de contribuer à la recherche sur l’efficacité de ces traitements, jugés “insuffisamment étayés” par les autorités sanitaires.

La commission d’enquête sénatoriale a permis d’apprendre que la DREES avait été conseillée par le cabinet McKinsey sur l’utilisation et la présentation des données. On peut se demander si le cabinet a eu un rôle dans la mise en œuvre de la présentation — opacifiante plutôt qu’éclairante — des données, que nous venons d'examiner. Ne pas penser à créer une case “statut vaccinal inconnu” et préférer inventer des statuts quand on ne les connaît pas, sans indiquer combien de statuts ont été inventés dans le processus… c’est du travail de haut-niveau !


1 au paragraphe « Pourquoi certaines valeurs ne sont-elles pas des nombres entiers (nombre de tests PCR, décès…) ? »

2 Pour rappel, la DREES intègre dans le décompte des décès « pour Covid » le nombre de personnes décédées à l’hôpital, pour lesquelles le motif d’hospitalisation enregistré est « Covid-19 » — voir ici et cliquer sur « Modèle de données ». Il faudrait discuter de ce critère. En effet, à juste titre cela peut exclure les personnes décédées de tout autre chose et simplement testées positives au Covid-19 ; inversement, il se peut que cela exclue des personnes ayant contracté le Covid-19 à l’hôpital, comme une maladie nosocomiale, et étant bel et bien décédées du Covid-19 ; par ailleurs, cela laisse dans l’ombre les comorbidités ayant une influence sur la réaction de l’organisme face au SARS-CoV-2 : on ne note pas « obésité » comme motif d’hospitalisation, même si, comme il semble que ce soit observé, l’obésité a pu avoir un impact sur un développement de formes du Covid-19 conduisant à une hospitalisation… Mais c’est une autre question, qui n’a pas d’impact sur la démonstration menée ici.


[En raison de la politique de dépublication pratiquée sans sommation par la modération de Mediapart sur des critères discutables et imprévisibles, ce billet est également publié ici. Par ailleurs, ce billet est peut-être le dernier de ce blog : devant le degré de censure et d'entrave au partage de réflexions exercées par Mediapart, l'auteur n'a pas souhaité reconduire son abonnement, qui prendra fin le 5 mai 2022. Les prochains billets seront uniquement publiés sur https://www.covid-factuel.fr

Ce blog est personnel, la rédaction n’est pas à l’origine de ses contenus.

Bienvenue dans Le Club de Mediapart

Tout·e abonné·e à Mediapart dispose d’un blog et peut exercer sa liberté d’expression dans le respect de notre charte de participation.

Les textes ne sont ni validés, ni modérés en amont de leur publication.

Voir notre charte