Le Télégramme de Brest a publié le 3 janvier un article dont je viens de prendre connaissance, intitulé « Cinq choses à savoir sur la commission des sondages ».
Le sujet est important car dans leur rhétorique les sondeurs avancent les contrôles de la Commission en témoignage de la qualité de leur production. Cela me donne l’occasion de préciser de mon côté ce qu’il faut savoir. En préambule je veux dire qu’il n’y a pas lieu d’accabler la Commission qui fait comme elle peut, n’étant pas adaptée à la situation et n’ayant pas les moyens nécessaires à un contrôle sérieux. Je ne vais pas aborder ces points que je développe dans mon ouvrage récent sur les sondages (pages 152 à 157) et vais me contenter de commenter chacun des 5 points de l’article qui résulte d’interviews de responsables de la Commission. Je mettrai en italiques ce qui en provient.
Point 1. La méthode
C’est évidemment le point le plus important.
Dans un délai de 24 heures, elle contrôle que l’échantillon « est représentatif du corps électoral » et que la formulation des questions n’est pas biaisée.
Déjà on peut imaginer qu’en si peu de temps – dû à la pression des sondeurs qui souhaitent publier au plus vite - les contrôles sont assez formels, sachant que la commission ne dispose que de deux experts statisticiens « indépendants » et externes pour mener ce travail.
Pour la représentativité c’est immédiat, puisque cela se rapporte à l’usage de la ‘méthode des quotas’. Cependant c'est un qualificatif dont j’ai pu montrer l’usage flou et très restrictif, succinctement dans :
et en profondeur dans mon ouvrage (cf. pages 33 à 36).
Pour ce qui concerne la formulation des questions, c’est certainement bien accompli quoique cela puisse prendre du temps pour des enquêtes souvent volumineuses.
Une autre vérification s’avère plus complexe : celle du redressement...Nous regardons si ces redressements sont cohérents et, surtout, nous exigeons que la méthode de redressement soit toujours la même dans les sondages successifs.
J’ignore ce qui est signifié par la cohérence des redressements. Ce que je sais c’est que les redressements sont utilisés de façon abusive, hasardeuse avec des effets à contresens. Voir mon article du Monde cité plus haut et :
ou plus en détail le chapitre 6 de mon livre consacré aux redressements. En fait les experts ne peuvent qu’acter les choix courants de redressement effectués par tous les sondeurs, d’autant plus que la Commission se fixe comme règle de veiller « à ne jamais substituer son appréciation à celle de l’auteur du sondage », formule reprise en préambule de ses rapports pour 2015-2016 et pour 2017 – voir son site. Il faut savoir que la plupart des commissaires (7 sur 9) sont des juristes dont le jugement repose pour l’essentiel sur le respect de la loi et des règles complémentaires qui ont été édictées.
Le contrôle, comme il est dit, concerne « surtout » le fait que le sondeur conserve toujours les mêmes critères de redressement au cours d’une campagne. C’est une règle claire et simple qu’a dû imposer la Commission car, par le passé, les sondeurs jouaient sur différentes variantes de redressement pour garder une liberté de choix subjective, une attitude peu conforme à une approche scientifique. En réalité la Commission permet des écarts à la règle dans la mesure où cela peut être « justifié ». On peut compter sur l’habileté des sondeurs et la bienveillance de la Commission pour profiter de cette tolérance.
En fait un contrôle sérieux devrait comprendre la possibilité de refaire les redressements pour vérifier leur conformité à ce qui est publié. Cela serait tout à fait faisable car l’un des deux experts dispose de cette capacité. Il ne serait pas utile de faire ce contrôle systématiquement, son existence potentielle suffirait à décourager les corrections manuelles non déclarées. Mais le lobby des sondeurs est formellement opposé à ce type de vérification. Tout contrôle relève d’une suspicion par nature et devrait être accepté par un prestataire. Il est clair que les résultats publiés ne sont pas nécessairement ceux des redressements. Cela apparait parfois à demi-mot dans les déclarations mêmes des sondeurs et est évident en raison de l’invraisemblable proximité de leurs résultats notamment à l’approche du verdict des élections. En règle générale, sauf coup médiatique ou autre, les sondeurs s'arrangent pour rester groupés (voir mon article sur aoc.media cité plus haut et pages 133 à 135 de mon livre).
Point 2. Les sondages sont retoqués
Ils sont très peu nombreux. En fait c’est exceptionnel. Lors de la campagne pour les élections présidentielles 2017 aucune « mise au point » n’a été effectuée. Mais il semble que cela soit en train de changer.
Si un expert décèle un problème dans une enquête d’opinion, un collège constitué « de magistrats, de professionnels de l’université et de spécialistes de la statistique va se réunir pour débattre du problème soulevé ».
Bien évidemment le communiqué paraîtra après, voire bien après la publication du sondage. On constate que les réserves émises n’ont aucune incidence notable sur la crédibilité du sondage.
Point 3. Les hypothèses du second tour
La Commission est « réservée » sur les sondages qui testent des hypothèses de second tour, alors que les résultats du premier ne sont pas acquis.
La commission aurait souhaité qu’on ne teste pas d’hypothèses sur le second tour tant que les candidats du premier tour ne sont pas figés. Elle doit se contenter d’une réserve. Force est de constater actuellement que les analyses de second tour diverses et variées vont bon train. Bien des observateurs s’en sont émus. La déclaration du secrétaire général de la Commission au Télégramme surprend : ...nous nous trouvons dans une phase encore très ouverte de la campagne électorale...Le jeu n’est pas suffisamment fermé pour que nous-mêmes, de notre propre chef, nous obligions les instituts à davantage fermer l’offre. Personnellement j’y vois une autre manifestation de l’impuissance de la Commission à faire respecter ses règles face à un puissant lobby et une bienveillance de sa part tant soit peu contrainte. Ceci est à rapprocher de la déclaration de faible impact du président de la Commission au point 2 à propos du retoquage : ce sont des instituts professionnels qui normalement savent élaborer un échantillon.
Point 4. Les échantillons
Il est dit qu’on écarte a priori un biais d’intérêt pour la politique de la part des personnes interrogées. Cela va contre l’intuition du fait même que les panélistes choisissent eux-mêmes les sondages auxquels ils veulent répondre. Une personne qui a peu d’intérêt pour les affaires politiques a assurément une probabilité plus faible de répondre à des questions qu’il ne se pose pas, surtout dans des questionnaires passablement éprouvants. Par ailleurs certains gestionnaires déclarent béatement qu’ils tiennent compte des centres d’intérêts des panélistes pour l’envoi des questionnaires. Sur le plan factuel j’ai dans mon livre (pages 131-132) une mise en évidence du biais sur la base des résultats des dernières élections municipales. Je crois que la plupart des observateurs avertis partagent ce point de vue.
Point 5. L’abstention
On trouve ici une recommandation du secrétaire général de la commission qui se rapporte à l’idée répandue par les sondeurs selon laquelle la forte abstention a été la cause des mauvaises estimations aux régionales. Hélas c’est une contre-vérité improvisée par les sondeurs et sans fondement. J’y ai fait une allusion dans mon introduction à l’article de aoc.media et ai depuis rédigé un texte spécifique à ce propos. Il sera posté ou publié de préférence, je l’espère, car cet argument a la vie dure et reste d’actualité.
Historiquement le lobby des sondeurs s’est dès le départ, lors du projet de la loi de 1977, opposé avec force au principe même de contrôle. Les rapports de la Commission mentionnent à plusieurs reprises les oppositions qu’elle a rencontrées à chaque étape de renforcement du contrôle et des concessions ou renoncements qu’elle a dû faire. La loi révisée de 2016, portée avec ténacité par les sénateurs Sueur et Portelli, a institutionnalisé une grande avancée sans laquelle on aurait très peu de moyens de juger de la qualité des sondages, à savoir l’obligation de rendre publiques des notices sur le site de la Commission. Mais il reste du chemin à faire ne serait-ce que pour exiger une conformité réelle à l’esprit de la loi actuelle. Une prochaine étape sera la publication des données brutes (avant redressement). Je vois au moins deux sociétés de sondages favorables à une transparence constructive, donc certains espoirs sont permis.