La moyenne du sondage

La trop belle fortune du récent sondage promu par M. Lévy de la société Harris a porté la lumière sur les conditions de recrutement des sondés et sur l'économie tout entière de la production de ces chiffres. Profitons de l'engouement pour cette bien étrange économie pour montrer, à l'exemple d'un sondage de la société CSA publié en juin 2008, comment tromper le citoyen par un innocent bricolage.

La trop belle fortune du récent sondage promu par Jean-Daniel Lévy de la société Harris a porté la lumière sur les conditions de recrutement des sondés et, par ricochet, sur l'économie tout entière de la production de ces chiffres. Profitons de l'engouement pour cette bien étrange économie pour montrer, à l'exemple d'un sondage de la société CSA publié en juin 2008, comment tromper le citoyen par un innocent bricolage de moyennes. Ce sondage annonçait, par la voix de son commanditaire, le CRAN (Conseil représentatif des associations noires) : « les minorités visibles sont deux fois plus contrôlées que les autres ». Le sondage portait, on l'aura deviné, sur les contrôles d'identité en France. Les opérations avaient été menées sous la houlette de M. Lévy, alors en poste à CSA.

 

Passons d'emblée sur deux détails. Le premier est celui, très classique, du fait relaté et du fait réel. Le sondage n'a pas, comme nous avons pu le faire en mettant en œuvre d'autres moyens d'enquête, mesuré les contrôles. Il a enregistré des contrôles allégués par les sondés. En toute rigueur, il eût fallu dire : « les minorités disent deux fois plus souvent être contrôlées que les autres ». Cette sollicitation du discours indirect pourrait être une règle de présentation des sondages. Non pas « n% des Français voteront A », mais « n% des sondés disent qu'ils voteraient A ». Les choses seraient ainsi plus claires : le sondage enregistre ni intentions, ni événements, mais des éléments discursifs ou narratifs, comme l'a très bien montré Rémy Caveng dans l'entretien donné il y a quelques jours sur le site (un discours est le produit d'une interaction, et la qualité ou la disposition ou la rémunération ou le statut du sondeur... pèsent sur ce qu'il est prêt à entendre du sondé).

Deuxième détail : la représentativité, et plus particulièrement la difficulté de recruter des sondés (thème au cœur du sondage rémunéré dont il a été question ces derniers jours). Le sondage 2008 du CSA a été réalisé sur 2217 personnes interrogées (il a donc été sans doute onéreux) et a comparé deux populations de sondés : les « minorités visibles » (c'est à dire les personnes interrogées qui ont dit au sondeur se considérer de ce groupe) et les autres. Un premier échantillon est constitué selon les règles (françaises) de rigueur, c'est à dire selon la méthode des quotas : est ainsi constitué un effectif de 1914 personnes, parmi lesquelles 185 personnes se déclarant d'une minorité visible. 185, c'est trop peu pour mener les comparaisons avec le groupe principal. Du coup, la société entreprend de constituer un « sur-échantillon » de 303 personnes se déclarant appartenir à une minorité visible, « sur-échantillon » pareillement formé selon la méthode des quotas. Si ce « sur-échantillon » doit être représentatif, ce ne peut être qu'au regard de la population des minorités visibles en France. Problème : le recensement ignore, par définition (française), la composition de cette population. Comment diable échantillonner sans population de référence, sans population-mère ?

On tiendra ces deux considérations pour des détails : la première est commune à toutes les restitutions de sondage, la seconde est au contraire seulement propre à l'objet de l'enquête en question. Plus spectaculaire, en revanche, est l'affirmation « les minorités sont deux fois plus contrôlées ». Cette affirmation repose sur les moyennes présentées en bas du tableau p. 3 du document de CSA (en pièce jointe) : la fréquence des contrôles est de 1,5 chez les uns, 2,97 chez les autres, soit 1 vs. 2, autrement dit le double.

Pourtant, si on lit le tableau, on constate que la proportion des gens qui disent ne s'être jamais fait contrôler au cours des 3 ans passés est semblable dans les deux populations : 54% chez les minorités visibles, 59% chez les autres. Elle est également comparable chez ceux qui se sont fait rarement ou parfois contrôler.

Ainsi, 1 fois : 10% chez les minorités vs. 12% chez les autres.
2 ou 3 fois : 12% vs. 14%.
4 ou 5 fois : 4% vs. 3%.

L'écart vient seulement à se creuser chez les multi-contrôlés :
6 à 10 fois : 9% vs. 4%.
11 et plus : 5% vs. 2%.

Au final, pour 80% des gens, il ne fait pas de différence si l'on apparaît relever d'une minorité visible ou non. Pour quatre cinquièmes de la population, il n'y a pas de contrôle au faciès (allégué).

Comment donc, à partir de ces résultats, produire un résultat global indiquant que "les minorités visibles sont deux fois plus contrôlées que les autres" ? Tout simplement en établissant des moyennes de fréquences de contrôle, où les multi-contrôlés tirent évidemment l'ensemble vers le haut (raison pour laquelle on n'utilise jamais les moyennes comme outil descriptif d'une population, mais les médianes et autres déciles, quartiles etc.). Il suffit que, comme c'est le cas ici, les minorités soient deux fois plus nombreux chez les multi-contrôlés pour qu'au final les moyennes (de fréquences alléguées) soient doubles chez les membres des minorités que chez les autres. Supposons que parmi les multi-contrôlés se soient exprimées une personne à 18 contrôles et une autre à 29... et on obtient, sans la troncature de rigueur ou l'élimination des valeurs aberrantes, une moyenne artificiellement tirée vers le haut.

La lecture de l'enquête devrait être : "Pour la majorité des gens (80% d'entre eux), il n'y a pas de contrôle au faciès. En revanche, on observe une sur-représentation des minorités chez ceux qui sont contrôlés très fréquemment. Il existe donc une partie spécifique de la population, celle sur laquelle se concentre la police, dans laquelle les minorités sont sur-représentées".

Forcément, c'est moins chic. Ou du moins : c'est plus chic, mais moins manchette.

Mais c'est aussi tout à fait autre chose. Dire que, en général, les minorités sont victimes de contrôles au faciès, c'est estimer que ces derniers sont le produit d'un racisme ou d'une discrimination ou d'une inégalité de traitement qui vise la couleur de peau de tout le monde. Dire, comme cela aurait dû l'être, que la police réserve le contrôle d'identité à une population particulière, et que dans cette population les minorités sont sur-représentées, c'est déplacer la problématique du racisme policier, de la discrimination ou de l'inégalité de traitement de la société en général vers ses marges.Et c'est aussi, du même coup, reposer la question de la visée, de l'utilité ou de la légitimité des contrôles. Le plus aberrant dans cette affaire est que les autres tableaux (il y en a une petite trentaine) montrent que les bonnes questions ont été posées (âge, sexe, circonstances du contrôles, profession, niveau de diplôme, apparence vestimentaire au moment du contrôle...) et que le sondage recèle d'informations extrêmement précieuses, ces absurdes moyennes mises à part.

A qui profite la moyenne ? A la société de sondage, qui s'adressant par cette moyenne à la société toute entière, dévoile un « problème de société » (plutôt que le sempiternel problème de la police et de sa clientèle propre). Tout aussi bien qu'au commanditaire, si celui-ci aspire à être le porte-voix des minorités en général, et ne souhaite pas se faire le porte-parole de cette jeunesse particulière, cible des contrôles.

Nous ne saurons rien. Rien, si ce n'est qu'une moyenne est un outil facile, qui trompe facilement. Et que l'on peut, par son truchement, révéler un problème public pour mieux en taire un autre, en l'occurrence fabriquer une société moyenne pour mieux cacher une les marges de la société.

Le Club est l'espace de libre expression des abonnés de Mediapart. Ses contenus n'engagent pas la rédaction.