Retour sur l’étude prétendant que le confinement « sauva plus de 60 000 vies »

Épisode 25

Une étude publiée par trois chercheurs le 23 avril 2020 sur le site internet de l’École des Hautes Études de la Santé Publique (EHESP) affirmait que le confinement avait « sauvé au moins 60 000 vies » (61 739 précisément !). Dans les jours suivants, cette étude était relatée par la quasi-totalité des médias nationaux comme régionaux (voir par exemple Le Monde, Le Nouvel Obs, Le Figaro, Les Échos, 20 minutes, Europe 1, France 3, BFMTV, LCI, Ouest-France, Sud-Ouest, Le Midi Libre, Le Télégramme, Le Progrès, les Dernières Nouvelles d’Alsace, etc.). Le lendemain même, le ministre de la Santé, Olivier Véran, reprenait à son compte les résultats de cette étude sur son compte Twitter puis dans une interview à France Inter. Enfin, le 28 avril, annonçant la fin du confinement à l’Assemblée Nationale, c’est le Premier ministre Édouard Philippe qui s’en prévalait à son tour.

Toutefois, à notre connaissance, outre l'Humanité qui reprit le texte, et à l’exception des Échos, aucun des mêmes grands médias n’a consacré d’article au démenti publié par trois autres chercheurs une dizaine de jours plus tard (le 2 mai 2020) dans le Journal International de Médecine (JIM). C’est cet article que nos reproduisons ci-dessous, avec l’accord des auteurs et l’aimable autorisation de la direction du JIM. Les auteurs y montrent que les calculs des trois chercheurs de l’EHESP sont plus que contestables. Plus largement, ils nous rappellent que les modèles mathématiques ne sont que des méthodes qui peuvent amener à faire des prédictions sans rapport avec la réalité médicale. Et ceci n’est pas sans rappeler les modélisations tout aussi fausses de l’épidémiologiste anglais Neil Ferguson qui prédit le 16 mars 2020 que le Covid tuerait 500 000 personnes en France, autant en Grande-Bretagne, plus de 2 millions aux États-Unis et jusqu’à 200 millions dans le monde entier.

Enfin, on attend encore les premières évaluations globales des vies non pas sauvées mais au contraire mises en danger par le confinement : impacts sur la santé physique et mentale, suicides et consommations de psychotropes, suspension du traitement des autres maladies, chômage, fermetures d'entreprises et de commerces, décrochage scolaire, creusement des inégalité à tous points de vue, retard considérable dans le fonctionnement de la justice, etcétéra.

LM

Étude critique d’une modélisation des effets du confinement sur les admissions et décès hospitaliers dus à la pandémie de Covid-19

Eric LE BOURG, Centre de Recherches sur la Cognition Animale (CRCA), Centre de Biologie Intégrative (CBI Toulouse), Université de Toulouse, CNRS, UPS.

Quentin de LAROCHELAMBERT, IRMES (Institut de Recherche bioMédicale et d’Epidémiologie du Sport) EA 7329, Université de Paris & INSEP.

Jean-François TOUSSAINT, Directeur de l’IRMES, Professeur de Physiologie, Université de Paris, AP-HP.

La pandémie du Covid-19 a donné lieu au confinement de la moitié de l’humanité. Celui-ci a été décrété en France le 17 mars 2020. La validité de cette décision fait débat entre ceux qui estiment que cette mesure, malgré toutes ses conséquences néfastes, était nécessaire, et ceux qui pensent qu’on pouvait en faire l’économie. Les auteurs ne prennent pas position à ce sujet dans le cadre de la présente note et n’ont pas forcément la même opinion. Toutefois, évaluer les conséquences du confinement est d’un intérêt crucial : quel est son impact sur les hospitalisations et la mortalité liées au SARS-Cov-2 ?

En l’absence de groupe contrôle ou d’étude randomisée, différentes estimations ont tenté de modéliser ces effets, en attendant, peut-être, après la pandémie, des études comparatives des pays ayant adopté des stratégies différentes. Le cadre éthique et méthodologique d’un groupe contrôle ou d’une étude randomisée est bien entendu impossible à établir à l’échelle des populations (or c’est pourtant le fondement qui établit la validité scientifique des essais thérapeutiques) et fait donc défaut pour déterminer le bénéfice de mesures ayant aussi des effets secondaires importants et durables. Ces études de modélisation, du fait du contexte très particulier de la pandémie et de l’urgence de la situation, ont bousculé la marche normale de toute étude scientifique : réalisation de l’étude, soumission à une revue scientifique à comité de lecture, expertise, publication après une éventuelle révision ou rejet de l’article par la revue. De ce fait, les critiques de ces études suivent la même voie. Dans ce contexte, les auteurs ont publié le 25 avril 2020 dans le quotidien L’Humanité, en ligne, un article réfutant les conclusions d’une récente modélisation de la situation française. La présente note détaille les éléments statistiques soutenant cette conclusion.

J. Roux, C. Massonnaud et P. Crepey ont publié sur le site de l’École des Hautes Études de la Santé Publique (EHESP) une modélisation du nombre d’hospitalisations, de patients en réanimation et de décès potentiellement évités par le confinement en France depuis le 17 mars. Se basant sur les connaissances disponibles quant à la transmission virale, ils estiment l’effet d’une absence de confinement sur le nombre d’événements dans les trois situations. Pour cela, ils observent les données du 20 au 28 mars et vérifient que leur modèle reproduit les résultats des 13 régions métropolitaines. Ils prolongent ensuite ce modèle, supposé validé, jusqu’au 19 avril et mesurent alors l’écart obtenu entre le modèle et les résultats observés à cette date. Ils concluent que le confinement a permis d’éviter 61 739 morts en un mois, qui ne se sont donc pas ajoutés aux 12 069 décès hospitaliers observés à cette date. Dans le modèle des auteurs, la mortalité atteint 10 000 décès à l’hôpital le 19 avril et elle double tous les 4-5 jours, comme cela était indiqué sur le site internet de l’École des Hautes Études de la Santé Publique.

A la lecture de l’article, plusieurs problèmes apparaissent. D’abord, les intervalles de confiance autour des courbes modélisées sont importants : en conséquence, aucune valeur observée de mortalité ou d’hospitalisations ne pourrait remettre le modèle en cause. Par exemple, en Île-de-France (Fig. 2E) le 28 mars, toute valeur dans un intervalle compris entre 20 et 200 décès tomberait dans « l’intervalle de confiance de 95% de la prédiction ». Par ailleurs, l’observation des 13 figures des régions montre que si la courbe reste proche des premiers points observés, les 20 et 21 mars, elle s’en écarte les 27 et 28, avec une tendance à un écart systématiquement positif entre la prédiction et la réalité. En d’autres termes, la courbe diverge des points réels ayant servi à valider le modèle et surestime le nombre d’événements qui auraient pu se produire sans confinement. Les valeurs du modèle augmentant avec le temps de manière exponentielle, la modélisation amplifie systématiquement les résultats à mesure que le temps passe.

La lecture de l’article semble donc suggérer que le modèle surestime notablement les effets positifs du confinement. Il est donc nécessaire de valider ou d’infirmer cette hypothèse par une étude statistique.

Méthodes

Les résultats de la modélisation des auteurs et les points réellement observés du 20 au 28 mars pour les admissions à l’hôpital, les admissions en réanimation et les décès à l’hôpital sont issus des registres de Santé Publique France et présentés par ces auteurs pour les 13 régions métropolitaines dans les figures 2 et S3 à S14 (détails A, C, E dans ces dernières).

Pour chaque jour du 20 au 28 mars, et pour chacune des 3 variables, on détermine si le modèle prédit correctement, ou s’il surestime (valeur en dessous de la courbe) ou sous-estime (valeur au- dessus de la courbe) la variable étudiée. Si la modélisation reproduit les données sans biais on doit observer une distribution équilibrée des valeurs observées autour de la prédiction durant la période de validation (20 au 28 mars). Cela se mesure par un nombre semblable de résidus négatifs et de résidus positifs (écarts entre les valeurs observée et prédite) qui s’illustre par un nombre identique de points tombant en dessous de la courbe ou au-dessus. Un test de Chi-2 d’indépendance est utilisé pour déterminer s’il existe un lien entre la date (du 20 au 28 mai) et le signe du résidu sur les 39 valeurs analysées (13 régions, 3 variables). Le niveau de signification est fixé au seuil α = 0.05, comme dans l’étude sous examen.

Dans un second temps, si le test de Chi-2 est significatif, les résidus de Pearson du test de Chi-2 (Haberman, 1973) sont analysés afin d’identifier les jours où la modélisation surestime (trop de résidus positifs) ou sous-estime (trop de résidus négatifs) les indicateurs analysés.

Résultats

Le tableau 1 donne la répartition des points observés. La statistique du Chi-2 prend une valeur de 128,92, pour 16 degrés de liberté, avec une valeur p < 0.0001 (valeur critique : 26.30). Elle permet donc de rejeter l’hypothèse selon laquelle il n’existerait pas de lien entre le jour et la précision. Une analyse des résidus de Pearson, qui tendent à suivre une loi normale sous l’hypothèse d’indépendance, est alors réalisée (tableau 2).

Si les résidus ne sont pas significatifs les 20 et 21 mars (distribution homogène au début de la période de validation), ils indiquent que le nombre de points sous la courbe les 27 et 28 mars est plus important qu’attendu dans le cas d’une répartition homogène pendant les 9 jours. L’étude des trois variables séparées donne les mêmes résultats, si ce n’est que les résidus sont significatifs pour les admissions à l’hôpital et les admissions en réanimation les 27 et 28 mars et seulement le 28 mars pour les morts à l’hôpital.

Tableau 1 : Observation de la répartition des points en adéquation (sur la courbe), inférieurs (en-dessous) ou supérieurs (au-dessus) pour les admissions à l’hôpital, les admissions en réanimation et les décès à l’hôpital du 20 au 28 mars pour les 13 régions métropolitaines (39 points chaque jour)

Tableau 2 : Résidus de Pearson du Chi-2 d’indépendance entre la position des valeurs et la date pour les admissions à l’hôpital, les admissions en réanimation et les décès à l’hôpital du 20 au 28 mars. Les effectifs significativement sous-représentés sont en gras et les effectifs sur-représentés sont en italiques soulignés

Discussion

La modélisation utilisée par les chercheurs de l’EHESP diverge significativement des valeurs observées les deux derniers jours : elle surestime donc les variables mesurées. Or, dans une évolution de nature exponentielle, les modélisations amplifient les résultats avec le temps : l’écart calculé ne fait que croître, de plus en plus rapidement. Les auteurs concluent : « Notre analyse montre qu'en l'absence de toute mesure de contrôle, l'épidémie de COVID-19 aurait eu une morbi-mortalité critique en France, qui aurait dépassé en quelques semaines les capacités des hôpitaux français ».

Ils estiment qu’un nombre supplémentaire de 61 739 morts aurait dû être comptabilisé à l’hôpital au soir du 19 avril, 10 000 morts étant observés ce seul jour et cette mortalité journalière doublant tous les 4-5 jours. De ce fait, si l’on ne tient pas compte de l’évolution des interactions virus-populations-environnement, poursuivre ce type de modélisation jusqu’au 11 mai aboutit à près de trois millions de décès hospitaliers. En ce qui concerne le nombre d’hospitalisations (590 000 auraient été évitées au soir du 19 avril selon les auteurs), peut-être aurait-on dépassé le 11 mai… la taille de la population française.

Les auteurs de cette étude souhaitaient sans doute démontrer l’efficacité du confinement généralisé en France mais la méthode utilisée ne permet pas de le faire. Les familles de modèles compartimentaux permettent certes de mieux approcher les phénomènes épidémiques, en particulier celui du Covid- 19, mais de nombreux paramètres estimés a priori et encore très incertains à ce jour peuvent changer de manière extrêmement conséquente les trajectoires et les résultats des projections. Leur utilisation doit donc rester prudente quant aux conclusions à en tirer et personne ne peut s’appuyer raisonnablement sur ce type d’étude pour justifier une mesure dont nous n’avons pas fini de mesurer les impacts sanitaires, économiques et sociaux. Alors que l’angoisse et la peine affectent des milliers de familles, il serait sans doute préférable de pas induire de telles erreurs, surtout si elles altèrent la décision publique.