Michel Lejeune
Professeur honoraire Univ. Grenoble-Alpes, Statisticien, Auteur de "La singulière Fabrique des sondages d’opinion" (éd. L’Harmattan, juin 2021)
Abonné·e de Mediapart

4 Billets

0 Édition

Billet de blog 19 déc. 2021

Il faut raison garder face aux fluctuations d’intentions de vote des candidats

On a fait grand cas récemment de l’augmentation de la cote dans les sondages de Valérie Pécresse, comme cela avait été fait début octobre pour celle d’Éric Zemmour. La raison voudrait qu’on ne se précipite pas sur le premier écart substantiel venu en se perdant en conjectures. Mais ce vœu est difficilement compatible avec les attentes médiatiques et la propulsion excessive de sondages.

Michel Lejeune
Professeur honoraire Univ. Grenoble-Alpes, Statisticien, Auteur de "La singulière Fabrique des sondages d’opinion" (éd. L’Harmattan, juin 2021)
Abonné·e de Mediapart

Ce blog est personnel, la rédaction n’est pas à l’origine de ses contenus.

On a fait grand cas récemment de l’augmentation de la cote de Valérie Pécresse, suite à sa nomination comme candidate LR aux élections présidentielles, comme cela avait été fait début octobre pour celle d’Éric Zemmour, alors qu’Alexandre Dézé et moi-même avions appelé à la retenue (Libération du 8 octobre). V. Pécresse a obtenu chronologiquement en intentions de vote 14% selon HARRIS (sondage du 3 au 6 décembre), 17% selon IFOP (du 4, après 18h, au 6), 20% selon ELABE (du 6 au 7). Y avait-il vraiment matière à effervescence médiatique sur ces chiffres ? En répondant à cette question particulière j’indique une marche à suivre générale.

Face à un écart observé entre deux sondages, le statisticien détermine s’il peut être purement fortuit, c’est-à-dire compatible avec les fluctuations aléatoires d’un échantillon à l’autre en raison des hasards de la sélection des personnes interrogées, ou s’il est « significatif » d’une différence réelle. On s’est surtout interrogé sur le passage de V. Pécresse de 14% à 20% de HARRIS à ELABE, une différence largement significative qui, en toute vraisemblance, pouvait être due au fait que les deux premiers jours du sondage HARRIS, sans doute les plus abondants en retours de questionnaires, se situaient avant la consécration de V. Pécresse actée le 4 décembre à 18h. Il faut donc être d’abord bien attentif aux périodes exactes de déroulement du sondage lorsqu’un événement déterminant se produit. Un calcul montre que la différence de 3 points entre le sondage d’ELABE et celui de l’IFOP, juste postérieur à l’élection, n’est pas significative. C’est rédhibitoire, il n’y avait aucune raison de s’emballer. En revanche, le sondage publié par IPSOS le lendemain de celui d’ELABE, à 16% soit 4 points de moins, montre une différence tout juste significative. Une règle s’applique aussi pour la différence entre deux candidats dans une enquête. Ainsi pour le deuxième tour, l’écart 52-48 en faveur de V. Pécresse face à Emmanuel Macron donné par ELABE et qui a créé un choc est résolument non significatif et ne méritait aucun commentaire au-delà d’une incertitude sur le leadership. Pour l’effectif concerné de 755 répondants il aurait au moins fallu un écart de 7 points.

Cependant, un écart déclaré significatif par la règle de décision théorique peut malgré tout être non significatif du fait de l’existence de biais. Concrètement, pour la comparaison de deux sondages, il faut prendre en compte les divergences de pratiques des sondeurs susceptibles de générer des écarts additionnels. Ceux-ci sont toujours difficiles à quantifier, mais l’expérience aidant, on peut se faire une idée grossière de leurs ampleurs potentielles. Dans le cas qui nous préoccupe on peut affirmer sans crainte que la différence de 4 points entre IPSOS et ELABE n’est pas significative sachant qu’elle l’était à peine du point de vue théorique. Bref, pour les trois résultats postérieurs à l’élection il y avait peu de choses à dire, sauf attendre de voir la suite.

Parmi les pratiques les plus susceptibles de faire une différence dans les estimations, il y a le fait que les résultats sont redressés sur des critères qui varient selon les sondeurs, ce qui peut entrainer de fortes disparités. Ainsi ELABE effectue actuellement ses redressements sur le premier et le deuxième tour des présidentielles 2017 quand IPSOS utilise le premier tour 2017 avec en plus les européennes 2019 ce qui s’est avéré être un mauvais choix, générateur de biais et même de fluctuations plus importants. Ensuite, autre différence notable, certains calculent les intentions de vote sur l’ensemble des répondants qui se prononcent, c’est le cas de l’IFOP et d’HARRIS, alors que d’autres en sélectionnent une partie seulement en fonction d’un indice sensé refléter la certitude ou non d’aller voter. ELABE se cantonne aux répondants ayant donné les notes de 8 à 10 sur une échelle de probabilité d’aller voter, soit 82% des répondants, alors qu’IPSOS n’en sélectionne que 50%, sans préciser son critère qui équivaut à peu près à la note 10 seule. On imagine que cela peut conduire aussi à des décalages d’estimations.

Mais ce n’est pas tout, on ne peut écarter la présence ici ou là de modifications manuelles après redressement lorsque l’on diverge substantiellement des autres sondeurs. Cette pratique est admise à demi-mot par la Commission des Sondages en réponse à une demande des sondeurs. Il peut aussi être tentant de réaliser un coup médiatique sachant que rien ne pourra objectivement venir contester la plausibilité de tel ou tel résultat à bonne distance du scrutin dans un contexte de production très opaque et peu contrôlée. En fait ces manipulations deviennent évidentes par une invraisemblable concordance des sondages à l’approche du verdict des élections. Pour les dernières élections régionales tous les sondages effectués en juin par les différentes sociétés ont donné exactement le même (très mauvais) résultat pour la région AURA comme pour HdF (3 sondages chacune) et de faibles différences de 2 points au plus pour PACA comme pour IdF (4 sondages chacune). Dans mon livre sur les sondages j’ai montré que pour le premier tour des présidentielles 2017 la probabilité d’obtenir la proximité observée des scores selon tous les candidats était de l’ordre d’une chance sur 30.000.Il y a toujours eu cette volonté collective de convergence quitte à se tromper ensemble comme aux régionales plutôt que courir le risque de se distinguer à tort.

Pour conclure, disons que la raison voudrait qu’on ne se précipite pas sur le premier écart substantiel venu en se perdant en conjectures mais que l’on s’impose la discipline de tester d’abord s’il est significatif et, le cas échéant, de laisser le temps révéler s’il se confirme ou non. Ainsi pour E. Zemmour, le fait est que sa cote est repartie à la baisse assez rapidement et pour V. Pécresse un saut à 20% n’a pas été franchement confirmé car les quatre sondages suivants ont donné 17%, 19%, 17% et 17%. Mais ce vœu est difficilement compatible avec les attentes médiatiques et la propulsion excessive de sondages.

Michel Lejeune, statisticien
Professeur honoraire de l’université Grenoble-Alpes - www.michel-lejeune-statistique.fr
Auteur de l’ouvrage La singulière Fabrique des sondages d’opinion (éd. L’Harmattan)

Bienvenue dans le Club de Mediapart

Tout·e abonné·e à Mediapart dispose d’un blog et peut exercer sa liberté d’expression dans le respect de notre charte de participation.

Les textes ne sont ni validés, ni modérés en amont de leur publication.

Voir notre charte

À la Une de Mediapart

Journal
Le jugement consacre la liberté d’informer
Dans un jugement du 6 juillet 2022, le tribunal de Nanterre a condamné l’État pour sa tentative de perquisition des locaux de Mediapart du 4 février 2019, la jugeant « ni nécessaire dans une société démocratique ni proportionnée à l’objectif poursuivi ». Le jugement, très sévère pour le parquet de Paris, consacre aussi la protection des sources.
par Edwy Plenel
Journal — Exécutif
À l’Assemblée, Élisabeth Borne invente le « compromis » sans concession
La première ministre a prononcé, mercredi 6 juillet, sa déclaration de politique générale à l’Assemblée nationale. Face aux députés, elle a tenté de tracer les contours d’un quinquennat du « compromis », sans rien céder sur le fond du programme d’Emmanuel Macron.
par Romaric Godin et Ilyes Ramdani
Journal
Face à la première ministre, LFI et le RN divergent sur la stratégie
Les deux forces d'opposition ont fait vivre une séance mouvementée à Élisabeth Borne qui prononçait, mercredi 6 juillet, son discours de politique générale. La gauche a déposé une motion de censure. La droite et l’extrême droite ont annoncé qu’elles ne la voteront pas.
par Pauline Graulle et Christophe Gueugneau
Journal — Santé
Au ministère de la santé, un urgentiste qui rêvait de politique
La nomination de François Braun au chevet d’un système de santé aux multiples défaillances est plus qu’un symbole. Ce médecin de terrain, formé dans les déserts médicaux, est aguerri aux crises sanitaires. Mais il laisse, à Metz, un service d’urgences en grandes difficultés.
par Caroline Coq-Chodorge et Rozenn Le Saint

La sélection du Club

Billet de blog
Un ministère au double intitulé et à la double tutelle pour un double jeu ?
Carole Grandjean vient d'être nommée ministre déléguée en charge de l'Enseignement et de la formation professionnels auprès du ministre de l'Education nationale et de la Jeunesse mais aussi du ministre du Travail. Cet intitulé et cette double tutelle n'ont pas de précédent. Serait-ce propice à un double jeu ?
par claude lelièvre
Billet de blog
Boone : « La pauvreté est contenue »
Quand l’économiste Laurence Boone considérait que « l’argent est très bien redistribué vers les pauvres » et quand le chef de l’État fustige les « profiteurs de guerre ». Petit retour également sur les Gilets jaunes d’avant les Gilets jaunes.
par YVES FAUCOUP
Billet de blog
Sous Macron, l'écologie chute en 10ème place mais l'homophobie se classe en 1ère
Au dernier remaniement, plusieurs homophobes rentrent définitivement au gouvernement. Le plus notable, Christophe Béchu, maire d'Angers, devient Ministre de la transition écologique, domaine où il n'a aucune compétence. Le rang protocolaire du Ministère de l’Ecologie, lui, passe du 5ème au 10ème rang.
par misterjbl
Billet de blog
Est-ce la fin du Bac Pro ?
Carole Grandjean vient d'être nommée ministre déléguée à l'enseignement professionnel. Dans un tweet daté du 17 mars, elle expliquait vouloir "une réforme du lycée professionnel sur le modèle de l'apprentissage" laissant présager d’un bouleversement de l’éducation nationale.
par Germain Filo