Vincent Verschoore
Blogueur et photographe.
Abonné·e de Mediapart

396 Billets

1 Éditions

Billet de blog 8 sept. 2015

Les dessous du peer review ou la falsification des évaluations par les pairs.

En juin dernier je proposais l’article intitulé La moitié des études biomédicales seraient fausses, selon The Lancet, faisant état d’un sérieux problème de crédibilité des études biomédicales. Ce problème n’existe pas que dans le secteur biomédical même si ce dernier, du fait des gros sous à la clé et de la manipulabilité subjectivité du sujet, semble être le plus affecté.Un récent article paru dans le Washington Post sous le titre “Major publisher retracts 64 scientific papers in fake peer review outbreak“, ou “Un éditeur connu rétracte 64 publications scientifiques dans une épidémie de faux examens par des pairs”, déclare qu’un certain nombre de publications, supposément vérifiées selon la méthode consacrée de l’examen par des pairs, n’ont en fait pas été vérifiées du tout. 

Vincent Verschoore
Blogueur et photographe.
Abonné·e de Mediapart

Ce blog est personnel, la rédaction n’est pas à l’origine de ses contenus.

En juin dernier je proposais l’article intitulé La moitié des études biomédicales seraient fausses, selon The Lancet, faisant état d’un sérieux problème de crédibilité des études biomédicales. Ce problème n’existe pas que dans le secteur biomédical même si ce dernier, du fait des gros sous à la clé et de la manipulabilité subjectivité du sujet, semble être le plus affecté.

Un récent article paru dans le Washington Post sous le titre “Major publisher retracts 64 scientific papers in fake peer review outbreak“, ou “Un éditeur connu rétracte 64 publications scientifiques dans une épidémie de faux examens par des pairs”, déclare qu’un certain nombre de publications, supposément vérifiées selon la méthode consacrée de l’examen par des pairs, n’ont en fait pas été vérifiées du tout. Non pas que les éditeurs des revues ne le voulaient pas, mais parce qu’il existe tout un éventail de techniques de fraude utilisées par les rédacteurs de ces papiers pour tromper les éditeurs – et donc les lecteurs professionnels, les pouvoirs publics et, au bout du compte, le public.

Ces techniques sont la création de fausses adresses mail, de faux collègues, d’identités réelles volées pour créer de fausses évaluations, ou encore des auteurs qui publient des avis à la gloire de leurs propres publications, qu’ils font ensuite passer pour des avis indépendants. L’éditeur en question, Springer, annonçait donc le 18 août par cette déclaration qu’il retirait 64 publications dont les évaluations, suite à une enquête interne, se révélaient être bidon. Ceci survient quelques mois après une autre rétractation, par la revue BioMed Central cette fois, de 43 publications. En 2014, l’éditeur SAGE Publications retirait 60 articles du Journal of Vibration and Control suite à la découverte d’un réseau “d’examen par des pairs” fictif où les auteurs évaluaient leurs papiers, et ceux de leurs collègues, sous de faux noms.

Selon le blog Retraction Watch, qui piste les rétractions d’articles scientifiques sous toutes leurs formes (fraude, plagiat, etc..), cela porte à 230 le nombre de publications dépubliées depuis 3 ans pour fraude dans leur évaluation. Cela fait peu au regard des dizaines de milliers de papiers publiés chaque année, mais ce phénomène semble récent, inconnu avant 2012. Aujourd’hui, ce syndrôme de dépublication par évaluation frauduleuse représente 15% de l’ensemble des retraits. Pour Ivan Oransky, journaliste scientifique et co-fondateur de Retraction Watch, ce phénomène fait penser à un virus qui serait resté dormant depuis des années pour se réveiller aujourd’hui. Et il n’est certain de savoir s’il s’agit effectivement d’un phénomène nouveau, ou d’une  capacité nouvelle de détection de ce type de fraude.

La fraude est parfois le fait d’auteurs écrivant leurs propres évaluations ou évaluant de manière exagérément positive les travaux de leurs collègues (avec retour d’ascenseur au moment voulu, bien sûr), mais c’est aussi le fait d’agences vendant des services d’évaluation! Selon une déclaration du Committee on Publication Ethics (COPE), “Certaines agences vendent des services, allant de la pré-écriture de manuscrits à la fourniture de contacts créés de toutes pièces pour les évaluateurs au cours du processus d’évaluation, pour ensuite fournir ces avis aux revues via ces fausses adresses. Certaines de ces adresses portent le nom de vrais scientifiques mais diffèrent de celles fournies par leurs instituts, ou sont associées à des publications antérieures, ou sont complètement fictives”. (1)

Cela dit, il n’est pas toujours évident de savoir si l’auteur d’un papier faussement évalué est lui-même coupable: il peut avoir agit de bonne foi, s’attachant les services de ce type d’agence sur recommandation de la revue ou de collègues. Un peu comme le sportif dopé qui ne sait pas que son entraîneur lui a donné in produit interdit. Il paraît que ça existe… Les éditeurs sont désormais conscients du problème et mettent en place des garde-fous, mais le problème principal reste la pression qui est mise sur les chercheurs pour publier le plus possible. Mieux vaut publier n’importe quoi que ne pas publier, et la fraude émerge naturellement.

La dépublication d’un article pour fraude dans le processus d’évaluation n’implique pas nécessairement que l’article est faux, juste que son objectivité n’est pas garantie par un processus reconnu par la communauté scientifique – l’évaluation par les pairs. Ce système est en soi imparfait car, au-delà des problèmes de fraude et de copinage entre chercheurs, existe le problème du biais: dans une communauté donnée il existe des préjugés qui font que certains sujets sont rejetés car déconsidérés d’office, ou difficiles à analyser au travers de méthodes scientifiques classiques basées sur l’objectivité et la reproductibilité pure et dure. Le phénomène de la mémoire de l’eau est pour cela emblématique, tout comme la démonstration de la nature anthropique du réchauffement climatique.

Dans un monde matérialiste idéal, la vérité scientifique existerait indépendamment du fait que l’on y croit ou pas, qu’on la connaisse ou non. Un comité d’évaluation ne ferait que vérifier si la méthode utilisée est correcte. Dans la réalité, la recevabilité d’une étude est non seulement dépendante de la pertinence de la méthode, mais aussi et surtout des enjeux politiques / académiques / financiers qui s’y attachent. Les évaluateurs ne peuvent faire abstraction de leurs croyances, intérêts et biais cognitifs. Dans le monde réel l’idée de l’existence d’une évaluation objective, surtout dans un domaine où tout le monde a les mêmes intérêts et la même culture, est en soi une illusion.

Une tentative de réponse à ce problème est le Open Peer Review, une philosophie de l’évaluation transparente pouvant avoir lieu avant et après la publication d’un article. Cette démarche pourrait aller jusqu’au “crowd-sourced peer review“, l’équivalent pour l’évaluation d’articles du crowdfunding pour le financement de projets par le public. Un tel système ne remplacerait sans doute pas totalement le système classique, mais pourrait en être un excellent supplément.

(1) “Some agencies are selling services, ranging from authorship of pre-written manuscripts to providing fabricated contact details for peer reviewers during the submission process and then supplying reviews from these fabricated addresses,” it said. “Some of these peer reviewer accounts have the names of seemingly real researchers but with email addresses that differ from those from their institutions or associated with their previous publications, others appear to be completely fictitious.”

Article d'origine sur: http://rhubarbe.net/blog/2015/09/07/les-dessous-du-peer-review-ou-la-falsification-des-evaluations-par-les-pairs/

Bienvenue dans le Club de Mediapart

Tout·e abonné·e à Mediapart dispose d’un blog et peut exercer sa liberté d’expression dans le respect de notre charte de participation.

Les textes ne sont ni validés, ni modérés en amont de leur publication.

Voir notre charte

À la Une de Mediapart

Journal — France
Redon : un mutilé, les fautes du ministère de l’intérieur et la justice qui enterre
Le 19 juin 2021, en Bretagne, lors d’une opération menée pour interdire une rave party, Alban, 22 ans, a eu la main arrachée par une grenade tirée par les gendarmes. Le 11 mars 2022, le parquet de Rennes a classé sans suite. Pourtant, l’enquête démontre non seulement la disproportion de la force mais les responsabilités de la préfecture et du ministère de l’intérieur. Mediapart a pu consulter des SMS et des appels aux pompiers, accablants, enterrés par le procureur de la République.
par Pascale Pascariello
Journal
La majorité se montre embarrassée
Après les révélations de Mediapart concernant le ministre Damien Abad, visé par deux accusations de viol qui ont fait l’objet d’un signalement à LREM le 16 mai, la majorité présidentielle peine à justifier sa nomination au gouvernement malgré cette alerte. La première ministre a assuré qu’elle n’était « pas au courant ».
par Marine Turchi
Journal
La haute-commissaire de l’ONU pour les droits humains en Chine pour une visite à hauts risques
Michelle Bachelet entame lundi 23 mai une mission officielle de six jours en Chine. Elle se rendra au Xinjiang, où Pékin est accusé de mener une politique de répression impitoyable envers les populations musulmanes. Les organisations de défense des droits humains s’inquiètent d’un déplacement trop encadré et de l’éventuelle instrumentalisation. 
par François Bougon
Journal — Europe
À Kharkiv, des habitants se sont réfugiés dans le métro et vivent sous terre
Dans le métro ou sous les bombardements, depuis trois mois, la deuxième ville d’Ukraine vit au rythme de la guerre et pense déjà à la reconstruction.
par Clara Marchaud

La sélection du Club

Billet de blog
La condition raciale made in USA
William Edward Burghardt Du Bois, alias WEB Du Bois, demeure soixante ans après sa mort l’une des figures afro-américaines majeures du combat pour l’émancipation. Magali Bessone et Matthieu Renault nous le font mieux connaître avec leur livre « WEB du Bois. Double conscience et condition raciale » aux Editions Amsterdam.
par Christophe PATILLON
Billet de blog
Attaques racistes : l'impossible défense de Pap Ndiaye
L'extrême droite et la droite extrême ont eu le réflexe pavlovien attendu après la nomination de M. Pap Ndiaye au gouvernement. La réponse de la Première ministre est loin d'être satisfaisante. Voici pourquoi.
par Jean-Claude Bourdin
Billet de blog
L'extrême droite déchaînée contre Pap Ndiaye
Le violence des propos Pap Ndiaye, homme noir, annonce une campagne de criminalisation dangereuse, alors que les groupes et militants armés d'extrême droite multiplient les menaces et les crimes.
par albert herszkowicz
Billet de blog
Pap Ndiaye : la nouvelle histoire des migrations
En décembre dernier, en direct de Pessac, Pap Ndiaye a évoqué de façon magistrale la nouvelle histoire des migrations, estimant que la France n’est pas un bloc, mais faite de « variations ». On se grandit en les prenant en compte, disait-il, contrairement au projet des « marchands de haine ».
par YVES FAUCOUP