Combien de fois a-t-on pu lire sur les fils des articles ou des billets de blog que les sondages étaient bidons, que les sondeurs étaient vendus à l'oligarchie ? Qu'il fallait mieux s'intéresser aux méthodes alternatives comme celle consistant à mesure le buzz numérique des différents candidats ?
La réalité est tout autre : ce premier tour est une très remarquable performance pour les sondeurs qui non seulement ont donné le bon ordre d'arrivée des quatre candidats arrivés en tête, mais ont donné leurs résultats, à quelques dixièmes de point près. Ci-dessus figure la moyenne des sondages telle que compilée par le Huffington Post et publiée vendredi soir après la parution des derniers sondages (1) :
Agrandissement : Illustration 1
Ci dessous figurent les résultats définitifs communiqués par le ministère de l'intérieur hier après midi :
Agrandissement : Illustration 2
Macron a donc obtenu 0,2 point de plus que ce que lui accordait la moyenne des sondages. Le Pen a été surestimée de 0,9 point. Fillon a été sous estimé de 0,2 point, de même que Mélenchon.
Pour trouver un écart supérieur à 1 point, qui demeure très inférieur à la marge d'erreur des sondages (2), il faut s'intéresser au cinquième, Hamon qui a obtenu 1,3 point de moins que prévu, ayant manifestement été victime d'un vote utile supérieur à ce qui était prévu. Dupont Aignan a lui obtenu un point de plus que prévu. Les autres candidats ont, à deux ou trois dizièmes près, obtenu les résulats prévus par la moyenne des sondages.
Un seul sondeur était hors de clous : la start up Scan Research associée à une autre, Terrain prévoyait que Mélenchon serait deuxième devant Le Pen avec 22% tandis que Fillon était anticipé à 17,5%. Ces sociétés réalisaient des sondages pour la première fois, deux au cours de cette campagne, avec la même surestimations de Mélenchon et la même sous estimation de Fillon pour leur premier sondage (3). Ces deux sondages n'ont pas été incorporés dans la moyenne du Huffington Post car ils ne remplissaient apparement pas les critères (assez stricts) requis.
Même s'il fait très peu de doute que les sondeurs (à l'exception de Scan Research-Terrain) ont adopté un comportement moutonnier (Cf. Article de 538 figurant à la note 4), convergeant vers la moyenne car préférant se tromper tous ensemble plutôt que d'être seuls à se tromper, ce qui présentait l'inconvénient de rendre cette moyenne potentiellement peu faible, on doit constater qu'elle s'est avrée au contraire excellente.
Cette performance contraste avec l'échec de méthodes de prévision alternatives comme celle consistant à mesurer le buzz numérique des différents candidats (comme Filteris qui prévoyait la qualifiaction de Fillon) ou mesurer le nombre des recherche google la veille et le jour du vote (Macron et JLM étaient devant) ou d'autres méthodes relevant du charlatanisme.
La seule chose qui a été assez mal mesurée par les sondeurs est le niveau de la participation électorale qui a finalement atteint 77,8%, soit un niveau tout à fait correct, alors que la plupart prévoyaient une abstention nettement plus élevée, de l'ordre de 5 à 8 points de plus. C'est, il est vrai, ce qu'il y a de plus difficile à apprécier.
L'écart prévu entre le 1er et le 2ème, c'est à dire Macron et Le Pen était de 1,6 point en moyenne. Il a finalement été de 2,7 points soit un écart (en faveur de Macron de 1,1 point). Cet écart est faible et notablement inférieur à l'écart moyen enregistré lors des précendente élections présidentielles depuis 1969, qui est de 3 points comme on peut le voir dans le tableau ci-dessous, issu d'un article de 538 dirigé par Nate Silver (4) :
Agrandissement : Illustration 3
--------------------------------------------------------------------------
(1) La moyenne du Huffington Post est celle des six derniers sondages publiés.
(2) Parler de marge d'erreur est en réalité un abus de langage car il est impossible de calculer la marge d'erreur d'un sondage établi à partir de la méthode des quotas. La marge d'erreur publiée est celle d'un sondage dans lequel l'échantillon aurait été déterminée de façon aléatoire.
(3) En revanche Scan Research-Terrain a très bien prévu le score de Macron, lui accordant 24% et celui de Le Pen, lui accordant 21,5%.
(4) https://fivethirtyeight.com/features/the-french-election-is-way-too-close-to-call/