Décompte des manifestants : les failles du cabinet Occurrence

De très nombreux médias publient, à l’occasion des grandes manifestations, le décompte du cabinet Occurrence. Une expertise indépendante, relevant d’une démarche scientifique, met en évidence les limites techniques et méthodologiques du dispositif et fait des propositions en vue d’une plus grande transparence. Ce document est d’intérêt général.

Rapport d’expertise sur le dispositif de comptage des manifestants par le cabinet Occurrence

Ce rapport fait suite à une visite du dispositif de comptage fin mai 2018, à l’invitation de Thomas Legrand, éditorialiste politique à France Inter, à l'initiative du collectif médiatique ayant passé contrat avec le cabinet Occurrence. Il se compose d’un résumé de l’observation et de recommandations permettant d’améliorer la présentation des mesures effectuées.

1° Observations

Le dispositif de mesure repose sur un système assez simple de comptage d’éléments (les manifestants) traversant une ligne virtuelle perpendiculaire à la rue observée, à partir d’enregistrements vidéo pris en plongée. Le nombre de manifestants ayant traversé la ligne pendant une durée élémentaire (par exemple une minute) est enregistré et sommé pour produire le nombre de manifestants ayant passé la ligne, en fonction du temps (de l’heure). Ce type d’algorithme de détection fonctionne parfaitement lorsque les manifestants sont suffisamment séparés les uns des autres pour laisser apparaitre le sol entre eux. Dans le cas contraire, lorsque les foules sont denses, l’image montre une masse hétérogène traversant la ligne qu’il devient difficile, sinon impossible de décomposer en individus. Dans ce cas, les techniciens font des mesures manuelles sur des enregistrements vidéo et corrigent d’un facteur multiplicatif le taux de manifestants (nombre de manifestants par unité de temps) que donne le logiciel de détection. De fait, lorsque la foule est dense, le comptage se met à contenir un grand nombre de faux points dont les déplacements, indiqués par des flèches colorées sur l’écran de contrôle, sont aberrants (en particulier ceux remontant la manifestation).

Le système souffre de trois types de problèmes auxquels il faudrait remédier : des problèmes de mesures, des mesures de présentation des résultats et des problèmes de méthode probatoire. Dans l’état actuel des choses, on ne peut considérer le système comme présentant des garanties à la hauteur de l’usage médiatique fait des nombres qu’il produit.

2° Problèmes de mesure

2 a) Problèmes de mesure dans une situation de foule dense.

Après examen de la bibliographie scientifique sur ce sujet, aucun algorithme d’analyse d’image ne permet de séparer les individus sur une image dans une situation où ils ne sont pas séparés par le fond immobile. Les algorithmes les plus performants nécessitent 10 fois plus de temps de traitement que de temps d’acquisition des images. Cette situation dense étant très fréquente dans les grosses manifestations, il y a un gros problème de mesure dans ce cas. En effet, si la vitesse instantanée d’une foule dense est très facile à mesurer, la densité d’individus (le nombre par unité de surface) ne l’est pas. Or le taux de passage des manifestants est le produit des deux intégré sur la largeur de la rue. Dès lors, la correction des données brutes opérées est très problématique : si le signal déterminé devient insensible à la densité de manifestants, le multiplier par un facteur correctif n’a aucun sens. 

2 b) Problèmes de manifestants remontant la manifestation

Les algorithmes de comptage de traversée d’une ligne virtuelle nécessitent de soustraire les manifestants qui traversent cette ligne en sens inverse du sens prédéterminé. En effet, dans le cas contraire, les manifestants arrêtés sur la ligne pendant un temps et la « traversant » dans les deux sens ne doivent être comptés qu’une fois. Or, dans nombre de manifestations, les flux inversés par les trottoirs sont extrêmement importants. En particulier, la pratique de maintien de l’ordre consistant, au moins à Paris, à empêcher toute autre dispersion de la manifestation que le retour par les trottoirs revient à annihiler le comptage. Il en va de même pour les manifestations rendues très statiques par des interruptions des forces de l’ordre, qui ne ressemblent plus à des manifestations unidirectionnelles ordonnées.

2 c) Problèmes de comptage des manifestants arrivant ou repartant en cours de manifestation.

Les pratiques contemporaines de manifestation ne consistent plus à suivre les ballons des syndicats organisateurs le long d’un parcours établi. Dans la plupart des manifestations, une grande partie des manifestants se donne rendez-vous en cours de chemin, emprunte des rues parallèles, ne se rend pas jusqu’au lieu de dispersion nassé, contraignant au demi-tour. Dès lors, le nombre de manifestants ayant traversé la ligne de mesure, n’est plus le nombre de manifestants. La fraction de manifestants ne faisant qu’une partie de parcours est d’autant plus grande que le parcours est long et que les stations de métro sont fermées au lieu de dispersion.

3° Problèmes de présentation des mesures

3a) Nécessité de présenter les incertitudes de mesure

La présentation par les médias des mesures d’Occurrence pose d’énormes problèmes. De manière générique, trois chiffres significatifs sont présentés (par exemple 74 200 ou 42 500) ce qui signifie par convention que tous les chiffres présentés ont un sens. Cela signifie donc que la mesure est prétendument précise à 0,1% ou 0,2%. Or les barres d’erreur doivent être plutôt entre 15% et 30% lorsque la manifestation est diluée (lorsqu’on voit le sol entre les manifestants) et bien pire lorsque la manifestation est dense. Prétendre à une qualité de mesure dont on ne dispose pas est en l’occurrence une falsification du résultat, puisqu’il vise à se présenter comme « scientifique » par un artifice. Du point de vue scientifique, il s’agit d’une faute éthique extrêmement grave.

Si les barres d’erreurs sont de 15% à 30% (cas dilué), alors il ne faut pas écrire 10200 manifestants mais entre 8000 et 12000 manifestants. Le nombre de chiffres significatifs doit coïncider avec les barres d’erreur (un seul chiffre significatif au-dessus de 10% d’incertitude).

Or les incertitudes de mesures, pour les raisons évoquées ci-dessus, sont difficiles à obtenir scientifiquement. Il est possible, dans l’état actuel des observations, que l’erreur pour certaines grosses manifestations très denses soient très au-dessus de 30%, avec un biais systématique de sous-estimation.

3b) Détermination des incertitudes de mesure

Pour déterminer correctement les incertitudes de mesure, il convient d’estimer correctement la part de manifestants qui ne passe pas par le point de comptage ou celle qui est décomptée du total parce que remontant par les bords de la manifestation. Par ailleurs, le fait que le nombre affiché par le logiciel ne soit plus proportionnel au flux de manifestants en régime de manifestation dense est un énorme problème qui ne peut être mis sous le tapis. Il est invraisemblable d’afficher trois chiffres significatifs dans les journaux quand, possiblement, le nombre de manifestants est sous-estimé de 50% voire d’un facteur 2. Il est tout aussi invraisemblable que le nombre de manifestants estimé soit publié indépendamment des conditions de mesure, y compris lorsque les biais systématiques sont avérés. S’imagine-t-on les scientifiques donner des mesures dont ils savent qu’elles présentent des effets systématiques avec la réalité ?

4° Problèmes de méthode probatoire

4a) Publication des mesures horaires

La méthode scientifique suppose la publication des méthodes de mesure et de l’appareil probatoire — en général, les mesures brutes. Il est impératif, pour que les citoyens aient une quelconque confiance dans les résultats, qu’ils puissent en vérifier l’intégrité. Il est donc indispensable de publier, pour chaque manifestation, sous forme de tableau de données et de courbe, le nombre de manifestants ayant traversé la ligne en fonction du temps. Cela permettrait de vérifier l’intégrité du signal, c’est-à-dire qu’il n’ait pas été trafiqué manuellement pour supprimer des portions de comptage. Cela permettrait de procéder à des vérifications simples : le signal, dans son évolution temporelle, doit correspondre à ce qui a été observé depuis la manifestation. De plus, il est aisé en connaissant le point de mesure, de procéder à une mesure de flux locale, et de la comparer avec la mesure rapportée.

4b) Publication des corrections manuelles apportées

Il faut impérativement que les corrections apportées manuellement au signal soient rendues publiques. En particulier, les portions du signal qui sont corrompues par la saturation de la mesure (insensibilité à la densité de manifestants dans les portions denses de la manifestation) doivent apparaître de sorte à pouvoir estimer les possibles biais introduits. La comparaison des facteurs de correction manuelle d’une manifestation à l’autre est indispensable pour vérifier la stabilité du système de mesure et l’absence de biais.

4c) Publication des vérifications opérées sur certaines manifestations de test

Les signaux obtenus pendant des manifestations qui ont donné lieu à des recomptages manuels de la part de journalistes doivent être publiés conjointement avec les signaux détectés par le logiciel du cabinet Occurrence, de sorte à ce que chacun puisse vérifier la cohérence entre les deux.

4d) Publication des calibrations

Il est indispensable de publier le rapport entre le taux de manifestants mesuré et le taux de manifestants réel en fonction de la densité de manifestants (le nombre de manifestants par unité de surface). En effet, il doit être possible aux observateurs de vérifier quelles parties du signal sont corrompues par les problèmes de détection en régime dense. De la même manière, à chaque fois qu’un paramètre change le fonctionnement du logiciel de traitement d’image, il importe de documenter publiquement la manière dont évolue avec ce paramètre le rapport entre taux de manifestants mesuré et taux de manifestants réel en situation dense. Deux paramètres semblent particulièrement importants :

  • la résolution spatiale de l’image (quelle est la taille du fragment de sol correspondant à un pixel) qui dépend de la distance de la caméra au-dessus du sol et du zoom.
  • la luminosité (les manifestations hivernales ont lieu avec des comptages effectués pendant plusieurs heures dans l’obscurité).

 

A Paris, le 19 décembre 2019

Bruno Andreotti

Professeur de Physique à l’Université de Paris

Chercheur au Laboratoire de Physique de l’Ecole Normale Supérieure

Membre honoraire de l’Institut Universitaire de France

Information du blogueur : on peut lire ICI les échanges entre Bruno Andreotti et Occurrence sur Twitter, suite à la publication de son expertise. 

 

 

Le Club est l'espace de libre expression des abonnés de Mediapart. Ses contenus n'engagent pas la rédaction.