Parmi les multiples sondages auxquels nos journalistes aiment donner la voix, il y a les sondages sur les positions des télespectateurs au terme de la prestation télévisée d'un homme politique.
Ainsi, les sondages Harris Interactive en fin de l'émission de France 2 nommée L'Émission politique.
Ce jeudi 23 février, c'était Jean-Luc Mélenchon qui était interrogé durant plus de deux heures.
Au début de l'émission, Léa Salamé annonce le sondage en ces termes :
« Et pour conclure ce sera le moment du *verdict*, on verra ce que vous, qui nous regardez, avez pensé de Jean-Luc Mélenchon ce soir, grâce à notre enquête en temps réel Harris Interactive »
Vous avez bien lu : « verdict ». No comment.
Et en fin d'émission, Karim Rissouli expose certains chiffres obtenus en faisant notamment les remarques suivantes :
« Deuxième question : Jean-Luc Mélenchon ferait-il un bon président ? […] C'est "oui" pour 36 % des Français : égalité *parfaite* avec Benoît Hamon sur ce coup-là, 36 % pour lui aussi !
Et quand on regarde les sympathisants de gauche, en revanche là *vous doublez* Benoît Hamon : 57% pour vous […], c'est deux points de plus que Benoît Hamon ! »
J'ai choisi cette séquence car elle illustre parfaitement l'incompétence avec laquelle nos journalistes politiques peuvent manipuler les chiffres. En effet, ces remarques sont juste aberrantes, pour deux ordres de raisons.
Premièrement, l'émission consacrée à Mélenchon a eu lieu le 23 février 2017, l'émission consacrée à Benoît Hamon.avait eu lieu le 8 décembre 2016, soit deux mois et demi plus tôt. Un sondage politique, pour autant qu'il soit fiable, est juste une photo à un instant donné. Comparer des chiffres obtenus à des dates aussi distantes est incohérent. D'autant plus incohérent qu'entre les deux émissions, s'est tenue la primaire des socialistes (22 et 29 janvier), et qu'au moment de son passage dans L'Émission politique, Benoît Hamon n'était crédité que de 11 % des intentions de vote au premier tour de ces primaires (et Manuel Valls de 45 %, on ne rit pas).
Deuxièmement, une donnée statistique régulièrement ignorée par nos journalistes est l'intervalle de confiance, c'est-à-dire la marge d'erreur possible par rapport aux chiffres obtenus, pour une probabilité généralement retenue à 95 %(1).
Ainsi, un résultat à 30 % avec une marge d'erreur de 3 % signifie qu'il y a 95 % de chance pour que le pourcentage dans la population réelle soit compris entre 27 % et 33 %.
La marge d'erreur dépend d'une part de la taille de l'échantillon en valeur absolue (plus la taille est faible, plus la marge d'erreur est grande ; on considère qu'il faut au moins un millier de répondants), d'autre part du pourcentage obtenu à la réponse (plus la réponse est proche de 50 %, plus la marge d'erreur est grande).
Lors de l'émission de Mélenchon, 1 201 téléspectateurs sélectionnés par la méthode des quotas ont été invités par Harris Interactive à regarder l'émission puis à participer au sondage en ligne(2). Ces téléspectateurs comprennent 352 "sympathisants de gauche".
Lors de l'émission de Hamon, 1 025 téléspectateurs avaient été invités par Harris Interactive à participer. Le pourcentage de "sympathisants de gauche" n'est pas précisé dans la fiche en ligne de la "commission des sondages"(3) (qui a été sur ce point défaillante). Nous allons estimer ce nombre à 300 en nous basant sur une proportion identique (29,3 %) à celle du sondage consacré à Mélenchon.
Pour l'ensemble des téléspectateurs interrogés :
- 36 % considèrent que la qualification "Ferait un bon président de la République" s'applique très bien ou assez bien à Mélenchon. La marge d'erreur est de + ou - 2,7 %.
- 36 % considéraient que la qualification "Ferait un bon président de la République" s'appliquait très bien ou assez bien à Hamon. La marge d'erreur était de + ou - 2,9 %.
Pour les "sympathisants de gauche" :
- le taux est de 57 % pour Mélenchon. La marge d'erreur est de + ou - 5,2 %.
- le taux était de 55 % pour Hamon. La marge d'erreur était de + ou - 5,6 %.
Donc, même si ces deux sondages avaient eu lieu en même temps, parler d'"égalité parfaite" en invoquant deux scores identiques n'a pas de sens, et encore moins conclure qu'un candidat a doublé l'autre en invoquant un écart de 2 points.
On aura compris que mon propos ne concerne nullement la "compétition" Hamon-Mélenchon comme telle, qui constitue un autre débat, mais le traitement des sondages par les médias.
Nous passerons sur les remarques d'ordre méthodologique générales (choix des facteurs faisant l'objet des quotas, biais de sélection d'un panel en ligne, et d'un échantillon "invité" à regarder une émission…) ou particulières (signification de la question "être un bon président", critères de détermination des "sympathisants de gauche",…)
Au fait, si vous voulez vous inscrire sur le panel de Harris Interactive/France Télévisions, c'est là : https://www.2017idees.fr/wix/p3023166.aspx.
Conclusion
Ces considérations ont-elles été émises lors d'une émission confidentielle ? Non, nous étions sur une émission politique en prime time sur la plus importante chaîne de télévision publique française, avec ce soir-là une audience estimée à 2,7 millions de télespectateurs.
Ces considérations étaient-elles le fait d'un jeune journaliste stagiaire ? Non, Karim Rissouli est fort bien intégré dans le microcosme des journalistes politiques français. Après avoir officié à Canal + (Dimanche + puis le Grand Journal), il a rejoint France 2 en 2015 avec l'émission de Pujadas Des paroles et des actes, qui a précédé L'Émission politique. Et depuis la rentrée 2016, il présente sur France 5 l'émission dominicale C Politique, couplée à l'émission C Polémique présentée par Bruce Toussaint. Ce dernier a par ailleurs succédé sur la même chaîne en 2016 à Yves Calvi aux commandes de C dans l'air, la citadelle des politologues circulaires, des éditocrates rotatifs, des sondocrates giratoires, des doxosophes yoyoteurs et autres journaleux blablateurs.
C tout pour aujourd'hui.
______________________________________________
- (1) : Cette marge est calculable lorsque les échantillons de répondants sont aléatoires, c'est-à-dire tirés au sort, mais est plus problématique lorsque les échantillons sont sélectionnés par la méthode française dite des quotas (c'est-à-dire, pour Harris Interactive, en tenant compte de sa représentativité en termes de tranche d'âge, de sexe, de catégorie socio-professionnelle et de région au sens large). Cependant, par convention, on projette sur la méthode des quotas les marges liées à la méthode du tirage aléatoire.
- (2) : A notre époque, la plupart des sondages sont réalisés par des questionnaires en ligne à partir de panels d'internautes. Les enquêtes en face à face ont quasiment disparu, et les enquêtes par téléphone sont très minoritaires.
- (3) : La commission des sondages est un organe officiel chargé de définir et de veiller à l'application des règles visant à assurer l'objectivité et la qualité des sondages qui concernent directement ou indirectement la prévision électorale (cf la loi du 19 juillet 1977 dans sa version consolidée actuelle)