Michel Lejeune
Professeur honoraire Univ. Grenoble-Alpes, Statisticien, Auteur de "La singulière Fabrique des sondages d’opinion" (éd. L’Harmattan, juin 2021)
Abonné·e de Mediapart

3 Billets

0 Édition

Billet de blog 10 janv. 2022

Le rôle de la commission des sondages : en réaction à un article du Télégramme

Le Télégramme vient de publier un article qui restitue des interviews auprès de la Commission des Sondages. Il répartit « ce qu'il faut savoir » sur les contrôles effectués en cinq points : la méthode, les sondages retoqués, les hypothèses de second tour, les échantillons, l'abstention. Je livre une vision critique qui écarte l’argument de qualité que tirent les sondeurs de ce contrôle.

Michel Lejeune
Professeur honoraire Univ. Grenoble-Alpes, Statisticien, Auteur de "La singulière Fabrique des sondages d’opinion" (éd. L’Harmattan, juin 2021)
Abonné·e de Mediapart

Ce blog est personnel, la rédaction n’est pas à l’origine de ses contenus.

Le Télégramme de Brest a publié le 3 janvier un article dont je viens de prendre connaissance, intitulé « Cinq choses à savoir sur la commission des sondages ».

 (https://www.letelegramme.fr/elections/sondages/cinq-choses-a-savoir-sur-la-commission-des-sondages-03-01-2022-12899278.php).

Le sujet est important car dans leur rhétorique les sondeurs avancent les contrôles de la Commission en témoignage de la qualité de leur production. Cela me donne l’occasion de préciser de mon côté ce qu’il faut savoir. En préambule je veux dire qu’il n’y a pas lieu d’accabler la Commission qui fait comme elle peut, n’étant pas adaptée à la situation et n’ayant pas les moyens nécessaires à un contrôle sérieux. Je ne vais pas aborder ces points que je développe dans mon ouvrage récent sur les sondages (pages 152 à 157) et vais me contenter de commenter chacun des 5 points de l’article qui résulte d’interviews de responsables de la Commission. Je mettrai en italiques ce qui en provient.

 Point 1. La méthode

C’est évidemment le point le plus important.

Dans un délai de 24 heures, elle contrôle que l’échantillon « est représentatif du corps électoral » et que la formulation des questions n’est pas biaisée.

 Déjà on peut imaginer qu’en si peu de temps – dû à la pression des sondeurs qui souhaitent publier au plus vite - les contrôles sont assez formels, sachant que la commission ne dispose que de deux experts statisticiens « indépendants » et externes pour mener ce travail.

Pour la représentativité c’est immédiat, puisque cela se rapporte à l’usage de la ‘méthode des quotas’. Cependant c'est un qualificatif dont j’ai pu montrer l’usage flou et très restrictif, succinctement dans :

 https://www.lemonde.fr/idees/article/2021/12/14/il-faut-ramener-l-activite-sondagiere-dans-le-champ-scientifique_6106044_3232.html,

et en profondeur dans mon ouvrage (cf. pages 33 à 36).

Pour ce qui concerne la formulation des questions, c’est certainement bien accompli quoique cela puisse prendre du temps pour des enquêtes souvent volumineuses.

Une autre vérification s’avère plus complexe : celle du redressement...Nous regardons si ces redressements sont cohérents et, surtout, nous exigeons que la méthode de redressement soit toujours la même dans les sondages successifs.

J’ignore ce qui est signifié par la cohérence des redressements. Ce que je sais c’est que les redressements sont utilisés de façon abusive, hasardeuse avec des effets à contresens. Voir mon article du Monde cité plus haut et :

https://aoc.media/analyse/2021/10/11/des-ombres-planent-sur-les-sondages-en-vue-de-la-presidentielle/,

ou plus en détail le chapitre 6 de mon livre consacré aux redressements. En fait les experts ne peuvent qu’acter les choix courants de redressement effectués par tous les sondeurs, d’autant plus que la Commission se fixe comme règle de veiller « à ne jamais substituer son appréciation à celle de l’auteur du sondage », formule reprise en préambule de ses rapports pour 2015-2016 et pour 2017 – voir son site. Il faut savoir que la plupart des commissaires (7 sur 9) sont des juristes dont le jugement repose pour l’essentiel sur le respect de la loi et des règles complémentaires qui ont été édictées.

Le contrôle, comme il est dit, concerne « surtout » le fait que le sondeur conserve toujours les mêmes critères de redressement au cours d’une campagne. C’est une règle claire et simple qu’a dû imposer la Commission car, par le passé, les sondeurs jouaient sur différentes variantes de redressement pour garder une liberté de choix subjective, une attitude peu conforme à une approche scientifique. En réalité la Commission permet des écarts à la règle dans la mesure où cela peut être « justifié ». On peut compter sur l’habileté des sondeurs et la bienveillance de la Commission pour profiter de cette tolérance.

En fait un contrôle sérieux devrait comprendre la possibilité de refaire les redressements pour vérifier leur conformité à ce qui est publié. Cela serait tout à fait faisable car l’un des deux experts dispose de cette capacité. Il ne serait pas utile de faire ce contrôle systématiquement, son existence potentielle suffirait à décourager les corrections manuelles non déclarées. Mais le lobby des sondeurs est formellement opposé à ce type de vérification. Tout contrôle relève d’une suspicion par nature et devrait être accepté par un prestataire. Il est clair que les résultats publiés ne sont pas nécessairement ceux des redressements. Cela apparait parfois à demi-mot dans les déclarations mêmes des sondeurs et est évident en raison de l’invraisemblable proximité de leurs résultats notamment à l’approche du verdict des élections. En règle générale, sauf coup médiatique ou autre, les sondeurs s'arrangent pour rester groupés (voir mon article sur aoc.media cité plus haut et pages 133 à 135 de mon livre).

 Point 2. Les sondages sont retoqués

Ils sont très peu nombreux. En fait c’est exceptionnel. Lors de la campagne pour les élections présidentielles 2017 aucune « mise au point » n’a été effectuée. Mais il semble que cela soit en train de changer.

Si un expert décèle un problème dans une enquête d’opinion, un collège constitué « de magistrats, de professionnels de l’université et de spécialistes de la statistique va se réunir pour débattre du problème soulevé ».

Bien évidemment le communiqué paraîtra après, voire bien après la publication du sondage. On constate que les réserves émises n’ont aucune incidence notable sur la crédibilité du sondage.

Point 3. Les hypothèses du second tour

La Commission est « réservée » sur les sondages qui testent des hypothèses de second tour, alors que les résultats du premier ne sont pas acquis.

La commission aurait souhaité qu’on ne teste pas d’hypothèses sur le second tour tant que les candidats du premier tour ne sont pas figés. Elle doit se contenter d’une réserve. Force est de constater actuellement que les analyses de second tour diverses et variées vont bon train. Bien des observateurs s’en sont émus. La déclaration du secrétaire général de la Commission au Télégramme surprend : ...nous nous trouvons dans une phase encore très ouverte de la campagne électorale...Le jeu n’est pas suffisamment fermé pour que nous-mêmes, de notre propre chef, nous obligions les instituts à davantage fermer l’offre. Personnellement j’y vois une autre manifestation de l’impuissance de la Commission à faire respecter ses règles face à un puissant lobby et une bienveillance de sa part tant soit peu contrainte. Ceci est à rapprocher de la déclaration de faible impact du président de la Commission au point 2 à propos du retoquage : ce sont des instituts professionnels qui normalement savent élaborer un échantillon.

 Point 4. Les échantillons

Il est dit qu’on écarte a priori un biais d’intérêt pour la politique de la part des personnes interrogées. Cela va contre l’intuition du fait même que les panélistes choisissent eux-mêmes les sondages auxquels ils veulent répondre. Une personne qui a peu d’intérêt pour les affaires politiques a assurément une probabilité plus faible de répondre à des questions qu’il ne se pose pas, surtout dans des questionnaires passablement éprouvants. Par ailleurs certains gestionnaires déclarent béatement qu’ils tiennent compte des centres d’intérêts des panélistes pour l’envoi des questionnaires. Sur le plan factuel j’ai dans mon livre (pages 131-132) une mise en évidence du biais sur la base des résultats des dernières élections municipales. Je crois que la plupart des observateurs avertis partagent ce point de vue.

Point 5. L’abstention

On trouve ici une recommandation du secrétaire général de la commission qui se rapporte à l’idée répandue par les sondeurs selon laquelle la forte abstention a été la cause des mauvaises estimations aux régionales. Hélas c’est une contre-vérité improvisée par les sondeurs et sans fondement. J’y ai fait une allusion dans mon introduction à l’article de aoc.media et ai depuis rédigé un texte spécifique à ce propos. Il sera posté ou publié de préférence, je l’espère, car cet argument a la vie dure et reste d’actualité.

Historiquement le lobby des sondeurs s’est dès le départ, lors du projet de la loi de 1977, opposé avec force au principe même de contrôle. Les rapports de la Commission mentionnent à plusieurs reprises les oppositions qu’elle a rencontrées à chaque étape de renforcement du contrôle et des concessions ou renoncements qu’elle a dû faire. La loi révisée de 2016, portée avec ténacité par les sénateurs Sueur et Portelli, a institutionnalisé une grande avancée sans laquelle on aurait très peu de moyens de juger de la qualité des sondages, à savoir l’obligation de rendre publiques des notices sur le site de la Commission. Mais il reste du chemin à faire ne serait-ce que pour exiger une conformité réelle à l’esprit de la loi actuelle. Une prochaine étape sera la publication des données brutes (avant redressement). Je vois au moins deux sociétés de sondages favorables à une transparence constructive, donc certains espoirs sont permis.

Bienvenue dans le Club de Mediapart

Tout·e abonné·e à Mediapart dispose d’un blog et peut exercer sa liberté d’expression dans le respect de notre charte de participation.

Les textes ne sont ni validés, ni modérés en amont de leur publication.

Voir notre charte

À la Une de Mediapart

Journal
#MeToo : Valérie Pécresse veut faire bouger la droite
Mardi, Valérie Pécresse a affiché son soutien aux victimes de violences sexuelles face au journaliste vedette Jean-Jacques Bourdin, visé par une enquête. Un moment marquant qui souligne un engagement de longue date. Mais, pour la suite, son équipe se garde bien de se fixer des règles.
par Ilyes Ramdani
Journal — Asie
Clémentine Autain sur les Ouïghours : « S’abstenir n’est pas de la complaisance envers le régime chinois »
Après le choix très critiqué des députés insoumis de s’abstenir sur une résolution reconnaissant le génocide des Ouïghours, la députée Clémentine Autain, qui défendait la ligne des Insoumis à l’Assemblée nationale, s’explique.
par François Bougon et Pauline Graulle
Journal
Sondages de l’Élysée : le tribunal présente la facture
Le tribunal correctionnel de Paris a condamné ce vendredi Claude Guéant à huit mois de prison ferme dans l’affaire des sondages de l’Élysée. Patrick Buisson, Emmanuelle Mignon et Pierre Giacometti écopent de peines de prison avec sursis.
par Michel Deléan
Journal — Violences sexuelles
L’ancien supérieur des Chartreux de Lyon, Georges Babolat, accusé d’agressions sexuelles
Selon les informations de Mediacités, trois femmes ont dénoncé auprès du diocèse de Lyon des attouchements commis selon elles lors de colonies de vacances en Haute-Savoie par le père Babolat, décédé en 2006, figure emblématique du milieu catholique lyonnais.
par Mathieu Périsse (Mediacités Lyon)

La sélection du Club

Billet de blog
Le nucléaire, l'apprenti sorcier et le contre-pouvoir
Les incidents nucléaires se multiplient et passent sous silence pendant que Macron annonce que le nucléaire en France c'est notre chance, notre modèle historique.
par Jabber
Billet de blog
Notre plan B pour un service public de l'énergie
[Rediffusion] Pour « la construction d’un véritable service public de l’énergie sous contrôle citoyen » et pour garantir efficacité et souveraineté sur l’énergie, celle-ci doit être sortie du marché. Appel co-signé par 80 personnalités politiques, économistes, sociologues, historiens de l’énergie dont Anne Debrégeas, Thomas Piketty, Jean-Luc Mélenchon, Aurélie Trouvé, Gilles Perret, Dominique Meda, Sandrine Rousseau…
par service public énergie
Billet de blog
Un grand silence
L'association Vivre dans les monts d'Arrée a examiné le dossier présenté par EDF. Nous demandons, comme nous l'avons fait en 2010 et comme nombre de citoyens le font, que soit tenu un débat public national sur le démantèlement des centrales nucléaires : Brennilis, centrale à démanteler au plus vite.
par Evelyne Sedlak
Billet de blog
Fission ou fusion, le nucléaire c’est le trou noir
Nos réacteurs nucléaires sont en train de sombrer dans une dégénérescente vieillesse ; nos EPR s’embourbent dans une piteuse médiocrité et les docteurs Folamour de la fusion, à supposer qu’ils réussissent, précipiteraient l’autodestruction de notre société de consommation par un effet rebond spectaculaire. Une aubaine pour les hommes les plus riches de la planète, un désastre pour les autres.
par Yves GUILLERAULT