Heur et Malheurs des Sondages d'Opinion en 2017

La polémique récurrente sur le (més)usage des sondages s'est heurtée à la prédiction juste de l'élection présidentielle de 2017. La méthode classique de fabrication a été plus prédictive que celle des Big Data. A l'occasion d'une conférence à Aïn Benian, Hélène Y. Meynaud s'explique sur les problèmes posés par la prévision des référendums et primaires. H.Y.Meynaud et D.Duclos, Ed La Découverte

https://www.youtube.com/watch?v=ObKufGAX-7U

 

 « Heurs et Malheurs des sondages politiques ( en France)»[1].

 

Hélène Y. Meynaud, chercheure associée au l’équipe Genre Travail et Mobilités du Laboratoire CRESPPA (CNRS)

 

Entre Aîn Bénian et Paris 13 ième arrondissement, pas de système permettant d’apparaître grâce à un hologramme. Ne pouvant, hélas, pas me joindre à vous, et suite à l’idée de Monsieur Sofiane MALOUFI que je remercie ici, voici quelques impressions sur l’usage des sondages politiques, en particulier « à chaud » dans les dernières joutes électorales.

Les sondages d’opinion politiques, bien que décriés, accusés de tous les maux, en particulier de se tromper en permanence, ont paradoxalement recouvré un usage intense. La campagne électorale des présidentielles de 2017 se déroule en France avec les yeux de tous rivés sur les sondages dont un, deux voire trois sont publiés chaque jour, sans compter tous ceux qui ne sont pas publiés.

Vous connaissez la méthode de fabrication d’un sondage: en préalable il se construit sur un modèle de la population dont on veut connaître l’opinion puis on recueille les avis d’un échantillon miniaturisé, modèle réduit de cette population sur la question qui est posée (que j’ai décrit dans mon livre « les sondages d’opinion[2] »).

J’aborderai plusieurs éléments de la réflexion sur les écueils qu’affrontent les sondeurs dans le contexte politique actuel pour produire des analyses justes : les effets des économies managériales dans le choix des méthodes de recueil des données, la question du recours à la méthode dite des Big Data ; de l’abstention et l’indécision qui compliquent la prédiction des résultats, des particularités des sondages concernant les primaires et les référendums, et des élections dans le contexte d’une offre politique mouvante et instable. Enfin j’esquisserai l’effet du phénomène biface de la modification du capital social des médias en France : d’une part le rachat de la presse écrite et des chaînes de télévision par le capital financier -lequel détient également les instituts de sondage majeurs- (cf. le travail d’ACRIMED), et d’autre part l’extension importante de l’usage des réseaux sociaux.

 

Sur le problème de l’échantillonnage

Les Instituts de sondages sont des sociétés privées qui doivent générer du profit. Ils recherchent donc les méthodes de travail les moins couteuses, à l’occasion au détriment de la qualité. Dans l’ordre, les sondages les plus fiables sont réalisés en face à face, puis par téléphone, et enfin par internet ou par automate. La fiabilité des résultats est inversement proportionnelle à leur coût de fabrication. Nonobstant cela et à la suite des refus considérables de réponse en face à face ou par téléphone (10000 appels pour 1000 réponses), les sondages par Internet sont devenus largement majoritaires. Ils comptent un biais structurel puisque la population qu’ils rejoignent est plus riche, plus diplômée, plus jeune que la moyenne de la population, et que ce sont des aspects de la réalité sociologique qui influencent largement les votes. On considère que 20% de la population n’a pas accès à internet ce qui est un biais d’échantillonnage considérable. D’autres biais peuvent être introduits, par exemple quand un sondage par internet sur la renommée ou l’acceptation d’un candidat, financé par un de ses soutiens, comporte une vidéo de propagande avant le moment de la réponse à la question. Par ailleurs, il existe désormais des sondés quasi professionnel qui répondent systématiquement aux sondages, en modifiant éventuellement les données sociales qui les concernent, soit pour obtenir des avantages commerciaux, soit pour soutenir leur candidat.e préféré.e, etc..

Ceci dit, les sondages politiques sont un élément important de l’image de marque des instituts et ces derniers n’ont pas intérêt à les produire sans le sérieux nécessaire. Pour défendre leur choix d’internet ou des automates, ils soutiennent que cette méthode, contrairement aux autres, n’introduit pas les biais crées par la personnalité de l’enquêteur.

 

Sur l’indécision

Il est de coutume de parler d’une extrême volatilité des intentions de vote : les gens se détermineraient dans les dernières semaines voire les dernières heures d’une échéance électorale. Le 12 avril 2017, à dix jours des présidentielles, Nonna MAYER[3] souligne que « 40% de sondés en moyenne n’ont pas encore fait leur choix, quand un bon tiers risque de s’abstenir ». Comment alors mesurer leurs choix et l’éventuelle adhésion au vote utile (qui consiste à barrer un tel ou tel autre plus qu’exprimer son adhésion) qui se fait lors des derniers jours quand la tendance des résultats se profile ? Remy Lefebvre[4] considère que le « catastrophisme sondagier (…) en fatalisant le probable, il tétanise le débat (…) et stérilise la confrontation politique autour des programmes, qui seule pourrait le dissoudre ». En France, dans l’entre-deux tours, plus d’un citoyen s’est exprimé en disant qu’il était lassé du vote utile, c’est-à-dire d’être appelé à voter encore contre Marine Le Pen, presque en aveugle, au lieu de voter pour ses propres idées.

Les dernières élections législatives (mars 2017) à un tour en Hollande sont, à ce titre, très intéressantes. Tous les commentateurs présentaient le candidat d’extrême droite Geert Wilders en tête des sondages, comme celui pouvant gagner. En Hollande comme en France, les cinq premiers candidats étaient « dans un mouchoir de poche ». Dans les derniers jours, Mark Rutte, le Premier Ministre, était revenu légèrement en tête des sondages. Plutôt que de procéder à un vote utile – en cédant à la peur- pour barrer ce candidat, les Hollandais ont éparpillés leur votes sur 28 partis dont 13 seront au parlement, et l’homme d’extrême droite pressenti comme le possible vainqueur s’est retrouvé à 23% et seulement en deuxième position …

Comme le dit Edwy PLENEL, fondateur du site Mediapart, ce qui est dangereux pour une démocratie « ce n’est pas le bruit des bottes, c’est le silence des pantoufles ».

 

Sur l’abstention

Traditionnellement, les sondages dits « Sortie des urnes » permettait de savoir quelles étaient les catégories sociales qui s’étaient le plus abstenues. En l’occurrence en France, environ 60% des jeunes et des ouvriers choisissaient l’abstention. Quelles raisons à cela ? Non-inscrits sur les listes électorales, ou plongés dans la peur et la pauvreté qui ne permet pas toujours de réfléchir sereinement. Ou encore l’impression de la vacuité des paroles politiques, les deux derniers présidents français s’étant engagés l’un à soutenir la France d’en bas, et l’autre à combattre les effets de la finance… et finalement les conditions sociales de ces deux catégories ont continué à se détériorer sous les deux quinquennats. A cause de la faiblesse de la démocratie telle que rythmée par les élections, les gouvernements passant outre les décisions éventuelles de l’Assemblée Nationale (en utilisant l’article 49.3 de la Constitution qui permet d’obtenir –sans vote- une décision parlementaire dont on craint le résultat) ? Alors pourquoi voter ?

Pour Vincent Tiberj[5], l’abstention n’est pas synonyme de désintérêt ou d’incompréhension de ce qu’est la société mais d’une abstention informée (..) ce n’est pas une coupure avec le politique car les abstentionnistes se mobilisent par d’autres moyens que le vote. Les actes de grève, manifestation, organisation de zone de révoltes (zadistes), Nuit Debout, sont d’autres formes de refus de l’offre politique telle qu’elle est. Ces abstentionnistes peuvent-ils être attribuées à un camp politique plutôt qu’à un autre ? Et suivant quelle méthodologie fiable ? Dans certains quartiers populaires, l’abstention a pu, dans d’autres circonstances électorales, monter jusqu’à 75%... Malheureusement, on ne peut effectuer une comparaison avec les autres présidentielles car il n’y a pas eu de sondages « sorties des urnes » au premier tour tel que décidé par la Commission Nationale des Sondages[6]. On constatera pourtant, a minima et en attendant d’autres études, que l’abstention aurait reculé dans les quartiers défavorisés et au sein de la jeunesse en conséquence d’une offre politique radicalement nouvelle en 2017.

 

Sur les primaires : je rappelle que mon intervention au colloque CISMA II concernait les effets délétères -politiques et sociaux- probables de l’organisation de primaires, comme la désorganisation des partis. Rémi Lefebvre[7] considère que la primaire affranchit le candidat de son parti, ce que on a constaté lors du refus de François Fillon de démissionner de la course électorale lorsque son parti le lui a demandé. Les militants (voire les dirigeants) se voient donc, entre autre, dépossédés du choix de leur candidat à la présidentielle.

La présidentialisation du débat politique, amène une population à discuter pendant la durée des primaires, puis de la campagne électorale, soit pendant plus d’un an, de personnages et de leurs qualités, au lieu de discuter des problèmes du pays en temps réels, ou du contenu des programmes politiques à venir, une manière de construire un débat « hors sol ».

Et les sondages de pulluler sur des hypothèses non validées.

Après les primaires et l’échec de leur candidat, les partis classiques dits de gouvernement sont dans un état de coma dépassé, alors que deux des quatre candidats en tête sont l’émanation de mouvements très récents qui ne se définissent pas comme des partis classiques. Les consultants des instituts de sondage se retrouvent donc sur des sables mouvants.

Il est à noter que l’hypothèse d’un duel de Jean-Luc Mélenchon avec les autres candidats n’a été testée par les sondeurs qu’à quelques jours des élections (ce qui a tardivement crédibilisé sa candidature par rapport aux autres).

La primaire comporte une difficulté particulière en matière de prédiction des comportements à tester, car on ne connaît pas le périmètre de ceux qui vont voter, ce qui ne permet quasiment pas de construire un modèle, voire un échantillon réduit. Par ailleurs elle ne porte que sur une partie mineure de la population (quatre millions en 2016 pour celle de la Droite et du Centre et 2 millions en 2017 pour celle de la Belle Alliance Populaire, 12000 votants pour les écologistes EELV). Néanmoins, et dans le cas de la Primaire de la Droite et du Centre, le score de François Fillon est monté régulièrement dans la dernière ligne droite (en tête chez les plus de 65 ans), les sondages ont bien perçu le mouvement lorsqu’il s’est produit.

Un sondage n’est pas une boule de cristal, mais à force de photographies ponctuelles, il peut dessiner une tendance. Ces tendances peuvent cependant être bousculées par l’écho démesuré que les médias vont donner à un seul événement. Je pense ici à l’assassinat d’un policier pendant la dernière semaine avant le premier tour de la présidentielle de 2017, dont l’hyper-traitement médiatique et étatique a pu conforter les candidats qui soutiennent une politique sécuritaire.

 

Sur les référendums

Autre cas de l’irruption, non due au hasard ou à la fatalité, d’un fait divers.Je me remémore le référendum de 1995 sur l’indépendance du Québec, où une mise en scène de la sortie de l’argent des banques du Québec avait été largement médiatisée. Le spectacle des camions de la BRINKS emmenant les billets de banque vers l’Ontario, province voisine du Québec, avaient été largement retransmis sur les chaînes de télévision, ainsi que les assemblées d’anciens qui s’affolaient pour leurs économies. Le référendum avait tranché en défaveur de l’indépendance par 30 000 voix.

 

Rappelons l’échec de prévision du référendum de 2005 sur l’éventuelle l’adhésion au traité constitutionnel européen, les sondeurs annonçaient une courte victoire du « oui ». Or les données recueillies indiquaient 1/3 pour 1/3 contre et 1/3 d’indécis. Dans la publication des sondages, on ne présentait que la répartition entre le oui et le non. L’autre tiers, les Indécis étaient répartis entre une option et l’autre. Périlleux car l’opinion de ces derniers s’est constituée au fur et à mesure des discussions politiques et peut-être en réaction au formidable parti pris des médias en faveur du oui.

Sur le référendum de 2016 concernant le BREXIT (quitter l’Europe), effectivement, le problème très important a consisté en l’attribution des indécis à une option ou à l’autre. Selon Claire Durand[8], l’assassinat de la députée anti-BREXIT Jo COX a créé une spirale du silence et amené de nombreuses personnes à ne pas déclarer leur ralliement au « quitter l’Europe », le travail sur les indécis a été malhabile, les personnes âgées, qui sont celles qui votent le plus, souhaitaient non pas une « Europe heureuse », mais « aucune Europe » pour revenir à l’état antérieur, avec par exemple plus de justice sociale. Ce sont les plus anciens qui ont massivement voté pour le BREXIT or ce sont ceux qui sont le plus éloignés des sondages par Internet. 10 jours avant le BREXIT, tous les instituts donnaient le « quitter » en tête. La veille, seulement 2 sur 5. La presse a donc annoncé en bloc la victoire du « rester en Europe », comme si c’était un enjeu majeur pour eux, c’est ce que souligne Emmanuel Rivière[9], D.G. de KANTAR Public (ex-TNS SOFRES), « exposés à une série d’informations, beaucoup ont tendance à ne retenir que celles correspondant à leur préférence », qu’ils soient commentateurs des médias ou citoyens.

 

Sur les élections

L’élection au suffrage universel direct est encore celle où les sondages d’opinion demeurent un outil de pouvoir, de savoir et d’influence incontournable. Le résultat du premier tour des présidentielles françaises a été correctement prédit par l’ensemble des instituts classiques.

On parle d’échec des sondages concernant l’élection de Donald Trump. Il s’agit alors d’opérer une distinction entre les souhaits des lecteurs de sondages et l’extrême prudence des commentateurs de sondages qui soulignaient quotidiennement dans les journaux le phénomène de « coude à coude » des candidats. Ceci dit Hilary Clinton a largement gagné les élections en termes de voix (3 millions de votes supplémentaires, plusieurs Etats perdus par les démocrates à quelques milliers de voix), mais rappelons que les Etats Sudistes, anciens Etats esclavagistes, ont un nombre de grands représentants très supérieur à leur poids démographique et votent traditionnellement pour les Républicains. Il n’y a donc pas de lien direct entre le vote pour un candidat et son succès électoral ce qui complique la réflexion.

 

Sur la concurrence avec les instituts utilisant les BIG DATA (FILTERIS, Predict My President, Vigiglobe, etc.), dont les résultats auraient été excellents pour prédire l’élection de TRUMP ou la victoire du BREXIT (où, quand ???, on ne sait pas), leur choix commercial résulterait du faible coût et de la facilité de mobiliser des masses de données numériques. Les ordinateurs repèrent dans internet et les réseaux sociaux les occurrences associées au nom des candidats et la machine leur attribue une note positive, négative ou nulle. Nicolas VANDERBIEST[10] indique que « lorsqu’on soumet une occurrence à une machine et la même occurrence à un humain, leurs avis divergent à hauteur de 30% ». Par ailleurs, ceux qui nagent dans les réseaux sociaux sont plus jeunes, plus urbains, plus connectés que la moyenne des électeurs, et en sus, de nombreuses occurrences sont des leurres générés eux-mêmes par des machines… FILTERIS prévoyait la victoire de François Fillon au premier tour (avec même un résultat de sondages à deux décimales…), puis le vendredi 21 avril à 23h30 (30 minutes avant l’interdiction de publier des résultats de sondage) sa deuxième position après Marine Le Pen. Or l’ordre du premier tour est MACRON, Le PEN, FILLON, MELENCHON). Peut-on évaluer le succès d’un candidat politique ou d’une idée comme la réception commerciale (comportement d’achat) d’un pot de yaourt ? Pour l’instant, il semble que non.

 

 

Je rajouterai deux difficultés supplémentaires pour appréhender les opinions des gens. Première question : la campagne électorale, avec le nombre réel de candidats et leur programme définitif, n’a duré que quinze jours. Combien de temps faut-il pour se déterminer ? Deuxième question : que savent les citoyens de la réalité du monde dans lequel ils vivent pour effectuer leur choix en toute connaissance de cause? Savent-ils que le PDG de WHIRPOOL qui délocalise son usine française en Pologne gagne 1 million d’euros par mois…et qu’ainsi il en gagnera plus. Que les entreprises étrangères qui rachètent les hôpitaux français le font pour l’excellence de la médecine française et son haut taux de rentabilité grâce à la sécurité sociale, contrairement à ce que proclament les managers du service public ? La télévision de Jean-Luc Mélenchon sur YOU TUBE et ses centaines de milliers d’abonnés a complètement bouleversé la situation de l’information politique et sociale et contribué à offrir un score à la gauche radicale qui n‘avait pas été atteint depuis celui de Georges Marchais aux Présidentielles de 1979.

En conclusion, le contexte politique et social nécessite une grande qualité des sondages pour tenter d’appréhender correctement l’opinion publique. Mais comme le dit la sagesse populaire, « le plus bel homme du Monde ne peut donner que ce qu’il a », et c’est bien le cas des sondages[11].

 

 

Souhaits de grands succès à votre colloque !

 


[1] Communication au  Colloque CISMA III « Les pratiques de sondage d’opinion & la bonne gouvernance », Aïn Benian, 9 mai 2017

 

[2] Hélène Y. Meynaud et Denis Duclos, Les sondages d’opinion, coll. Repères, Editions La Découverte, quatrième Édition 2007.

[3] Nonna Mayer, « Nonna Mayer :  Marine Le Pen fait encore peur », Journal Le Monde, 12 avril 2017

[4] Rémi Lefebvre, « Le vote Utile mine l’utilité même du vote ». Journal Le Monde, 4 avril 2017.

[5] Vincent Tiberj, « Les nouvelles générations bousculent la politique », Journal L’Humanité, 21 mars 2017 ;

[6] Communiqué de la commission des sondages du 20 avril 2017

À quatre jours du premier tour de l'élection présidentielle, la commission des sondages rappelle que la loi du 19 juillet 1977 modifiée interdit strictement, du vendredi minuit au dimanche 20 heures, toute diffusion de sondages relatifs à l’élection présidentielle.

Dans cette perspective, la commission a obtenu des 9 principaux instituts de sondages (BVA, Elabe, Harris Interactive, Ifop, Ipsos, Kantar, Odoxa, OpinionWay, Viavoice) l’assurance qu’aucun d’entre eux ne réalisera le 23 avril de sondages "sortie des urnes”.

 

[7] Rémi Lefebvre. « Les Primaires socialistes : la fin du parti des militants », Editions Raison d’Agir, 2011

[8] Claire Durand, Blog Ah ! Les Sondages. http://ahlessondages.blogspot.fr/, juin 2016

[9] Entretien dans EMILE Président, journal sur Internet des Alumni de SCIENCE PO, 28 avril 2017

[10] Nicolas VANDERBIEST in Sylvain ROLLAND, « Présidentielle : le big data éliminé dès le premier tour, revanche des sondages ». La tribune.fr, 24 avril 2017

[11] Les élections présidentielles françaises de 2017, si on les exprime en fonction des inscrits donnent M.E. Macron 43,63%, M. ou Mme Abstention ou Nul 33,99%, et Mme M. Le Pen

Le Club est l'espace de libre expression des abonnés de Mediapart. Ses contenus n'engagent pas la rédaction.