Dans Vaccination contre le PISA-Choc de février 2014, je m’étais bien gardé d’évoquer les critiques portant sur la méthodologie statistique de PISA, me contentant d’évoquer d’autres aspects suffisamment nombreux à mon sens pour justifier une défiance majeure à la fois par rapport à la valeur de PISA et aussi par rapport à la manière dont ces résultats étaient utilisés médiatiquement et politiquement. Je ne m’attendais certes pas à ce que les médias et l’éventail politique s’intéresse à mon point de vue qui met en cause la globalité de leur conception de l’école. Mais il se trouve que même certains auteurs qui montraient le plus souvent un esprit critique par rapport aux thèses de l’OCDE, comme Nico Hirtt, ne sont manifestement pas convaincus par mon analyse et continuent à considérer comme valides les données de cette enquête. Ceci est probablement lié à l’exception française qui fait que l’on ne lit pas dans les medias français les critiques fondamentales contre PISA ce que l’on peut lire dans la presse étrangère, qu’elle soit de droite ou de gauche.
En voici deux exemples, l’un tiré du Times, l’autre du Guardian :
What if you learned that Pisa’s comparisons are not based on a common test, but on different students answering different questions? And what if switching these questions around leads to huge variations in the all-important Pisa rankings, with the UK finishing anywhere between 14th and 30th and Denmark between fifth and 37th? What if these rankings – that so many reputations and billions of pounds depend on, that have so much impact on students and teachers around the world – are in fact “useless”?
Is Pisa fundamentally flawed? in Times Educational Supplement, 2013/07/26.
This lack of statistical transparency has also been a focal point of criticism leveled at Pisa and indeed the OECD. The last time they published a technical report to make their methods more open, they weren’t able to make it any more concise than 419 pages.
The Pisa methodology: do its education claims stack up?in The Guardian, 2013/12/03
Suivent donc des éléments certes brefs mais fondamentaux à propos **d’*une* catégorie** de biais méthodologiques - je souligne **une** car il y en a bien d’autres - qui entachent fondamentalement la validité de l’ensemble des données de l’enquête PISA. Ces biais sont de plus extrêmement intéressants à connaître puisqu’ils peuvent entacher la valeur de ce qui est très à la mode, les méta-analyses, enquêtes qui ont le double avantage de sembler profondes « puisqu’elles reprennent tous les résultats connus sur un sujet » et de ne pas coûter cher puisqu’il n’y a pas d’échantillon de population à interviewer.
Texte complet ICI ou en fichier attaché, texte qui, aprés d'austéres remarques techniques, réjouira les moralistes puisqu'il se termine par :
Pourvu que Dieu, La République, La Morale, La Loi, AREVA et le PSG, c'est-à-dire Toutes Les Valeurs qui Méritent des Majuscules évitent à notre hexagonale Nation un aussi funeste sort.
Bonne lecture
Barde, le 24 avril 2014 - Michel Delord
Plan du texte :
Réponses plausibles des élèves
Le modèle de Rasch
La terrible précision PISA : Groland est 30ème sur 50 pays, avec une marge d’erreur de 200 places …
L’exception française
ANNEXES
Annexe 1 - Intermède : A l’école, se sentir « chez soi » ou se sentir « à sa place » ?
Annexe 2 - Quelques mots sur l’étude de l’APED « PISA 2012 sans fard et sans voile »
Annexe 3 - Pour la bonne bouche : les ‘risk groups’, une bonne raison sécuritaire de soutenir PISA
Annexe 4 - Bibliographie : quelques références critiques récentes sur PISA