On a fait grand cas récemment de l’augmentation de la cote de Valérie Pécresse, suite à sa nomination comme candidate LR aux élections présidentielles, comme cela avait été fait début octobre pour celle d’Éric Zemmour, alors qu’Alexandre Dézé et moi-même avions appelé à la retenue (Libération du 8 octobre). V. Pécresse a obtenu chronologiquement en intentions de vote 14% selon HARRIS (sondage du 3 au 6 décembre), 17% selon IFOP (du 4, après 18h, au 6), 20% selon ELABE (du 6 au 7). Y avait-il vraiment matière à effervescence médiatique sur ces chiffres ? En répondant à cette question particulière j’indique une marche à suivre générale.
Face à un écart observé entre deux sondages, le statisticien détermine s’il peut être purement fortuit, c’est-à-dire compatible avec les fluctuations aléatoires d’un échantillon à l’autre en raison des hasards de la sélection des personnes interrogées, ou s’il est « significatif » d’une différence réelle. On s’est surtout interrogé sur le passage de V. Pécresse de 14% à 20% de HARRIS à ELABE, une différence largement significative qui, en toute vraisemblance, pouvait être due au fait que les deux premiers jours du sondage HARRIS, sans doute les plus abondants en retours de questionnaires, se situaient avant la consécration de V. Pécresse actée le 4 décembre à 18h. Il faut donc être d’abord bien attentif aux périodes exactes de déroulement du sondage lorsqu’un événement déterminant se produit. Un calcul montre que la différence de 3 points entre le sondage d’ELABE et celui de l’IFOP, juste postérieur à l’élection, n’est pas significative. C’est rédhibitoire, il n’y avait aucune raison de s’emballer. En revanche, le sondage publié par IPSOS le lendemain de celui d’ELABE, à 16% soit 4 points de moins, montre une différence tout juste significative. Une règle s’applique aussi pour la différence entre deux candidats dans une enquête. Ainsi pour le deuxième tour, l’écart 52-48 en faveur de V. Pécresse face à Emmanuel Macron donné par ELABE et qui a créé un choc est résolument non significatif et ne méritait aucun commentaire au-delà d’une incertitude sur le leadership. Pour l’effectif concerné de 755 répondants il aurait au moins fallu un écart de 7 points.
Cependant, un écart déclaré significatif par la règle de décision théorique peut malgré tout être non significatif du fait de l’existence de biais. Concrètement, pour la comparaison de deux sondages, il faut prendre en compte les divergences de pratiques des sondeurs susceptibles de générer des écarts additionnels. Ceux-ci sont toujours difficiles à quantifier, mais l’expérience aidant, on peut se faire une idée grossière de leurs ampleurs potentielles. Dans le cas qui nous préoccupe on peut affirmer sans crainte que la différence de 4 points entre IPSOS et ELABE n’est pas significative sachant qu’elle l’était à peine du point de vue théorique. Bref, pour les trois résultats postérieurs à l’élection il y avait peu de choses à dire, sauf attendre de voir la suite.
Parmi les pratiques les plus susceptibles de faire une différence dans les estimations, il y a le fait que les résultats sont redressés sur des critères qui varient selon les sondeurs, ce qui peut entrainer de fortes disparités. Ainsi ELABE effectue actuellement ses redressements sur le premier et le deuxième tour des présidentielles 2017 quand IPSOS utilise le premier tour 2017 avec en plus les européennes 2019 ce qui s’est avéré être un mauvais choix, générateur de biais et même de fluctuations plus importants. Ensuite, autre différence notable, certains calculent les intentions de vote sur l’ensemble des répondants qui se prononcent, c’est le cas de l’IFOP et d’HARRIS, alors que d’autres en sélectionnent une partie seulement en fonction d’un indice sensé refléter la certitude ou non d’aller voter. ELABE se cantonne aux répondants ayant donné les notes de 8 à 10 sur une échelle de probabilité d’aller voter, soit 82% des répondants, alors qu’IPSOS n’en sélectionne que 50%, sans préciser son critère qui équivaut à peu près à la note 10 seule. On imagine que cela peut conduire aussi à des décalages d’estimations.
Mais ce n’est pas tout, on ne peut écarter la présence ici ou là de modifications manuelles après redressement lorsque l’on diverge substantiellement des autres sondeurs. Cette pratique est admise à demi-mot par la Commission des Sondages en réponse à une demande des sondeurs. Il peut aussi être tentant de réaliser un coup médiatique sachant que rien ne pourra objectivement venir contester la plausibilité de tel ou tel résultat à bonne distance du scrutin dans un contexte de production très opaque et peu contrôlée. En fait ces manipulations deviennent évidentes par une invraisemblable concordance des sondages à l’approche du verdict des élections. Pour les dernières élections régionales tous les sondages effectués en juin par les différentes sociétés ont donné exactement le même (très mauvais) résultat pour la région AURA comme pour HdF (3 sondages chacune) et de faibles différences de 2 points au plus pour PACA comme pour IdF (4 sondages chacune). Dans mon livre sur les sondages j’ai montré que pour le premier tour des présidentielles 2017 la probabilité d’obtenir la proximité observée des scores selon tous les candidats était de l’ordre d’une chance sur 30.000.Il y a toujours eu cette volonté collective de convergence quitte à se tromper ensemble comme aux régionales plutôt que courir le risque de se distinguer à tort.
Pour conclure, disons que la raison voudrait qu’on ne se précipite pas sur le premier écart substantiel venu en se perdant en conjectures mais que l’on s’impose la discipline de tester d’abord s’il est significatif et, le cas échéant, de laisser le temps révéler s’il se confirme ou non. Ainsi pour E. Zemmour, le fait est que sa cote est repartie à la baisse assez rapidement et pour V. Pécresse un saut à 20% n’a pas été franchement confirmé car les quatre sondages suivants ont donné 17%, 19%, 17% et 17%. Mais ce vœu est difficilement compatible avec les attentes médiatiques et la propulsion excessive de sondages.
Michel Lejeune, statisticien
Professeur honoraire de l’université Grenoble-Alpes - www.michel-lejeune-statistique.fr
Auteur de l’ouvrage La singulière Fabrique des sondages d’opinion (éd. L’Harmattan)