Mon employeur s’est doté d’un service d’intelligence artificielle générative nommé Emmy, en l’honneur de la mathématicienne Emmy Noether. Des indices laissent supposer que le nom initial du projet était Alan, probablement en l’honneur du mathématicien et informaticien Alan Turing ; des collègues ironisent qu’on a peut-être pensé qu’il valait mieux un nom de femme pour un service destiné à être une assistante.
Avant d’accéder à ce service, il faut suivre une formation d’une heure (une autre de six heures est également disponible) expliquant les limitations des IA génératives, les risques de fuite d’information qu’elles présentent, et donnant quelques astuces de rédaction de prompt. Cette formation est à mon avis bienvenue pour certaines personnes ; on me dit que certains personnels administratifs posent des questions de procédure ou réglementation à ChatGPT…
Lorsque j’essaye une nouvelle IA de production de textes, je lui demande de rédiger une petite présentation à mon sujet. Ce test présente deux avantages :
C’est une tâche réaliste : il est parfois nécessaire de produire des présentations de chercheurs pour annoncer un séminaire ou autre évènement. Parfois, les documents de présentation sont rédigés par des personnels de communication, ou des scientifiques d’autres domaines, qui n’ont aucune idée de la spécialité de l’invité. On a parfois constaté des contresens cocasses, comme quand cet éminent chercheur en analyse statique a été transformé en expert en analyse syntaxique.
Je suis très bien placé pour évaluer la véracité de ce qui est produit.
Avec d’autres IA, j’avais obtenu des résultats assez amusants. On a ainsi dit que j’étais professeur à l’Université Paris Saclay, ou encore à l’Université d’Aix-Marseille, et un collègue qui a fait ce test aujourd’hui dit que l’IA qu’ils a essayée me nomme professeur à l’École normale supérieure, à Paris. Une simple recherche Web indique pourtant que je suis directeur de recherche et non professeur, et que je travaille en région grenobloise.
Lorsque j’ai demandé à Emmy d’adjoindre une liste bibliographique de trois articles parmi les plus illustratifs de ma carrière, elle m’a fourni des sortes de résumés de sujets sur lesquels j’ai travaillé. Quand j’ai insisté que je voulais des titres d’articles formatés selon les normes bibliographiques, elle a inventé un titre d’article.
Depuis que les IA génératives ont été mises à disposition du public, il est connu qu’elles hallucinent lorsqu’on leur demande une bibliographie, inventant des titres et des listes d’auteurs souvent assez plausibles. Je lis que maintenant des bibliothécaires et des archivistes se plaignent que des usagers viennent leur demander des documents qui tout simplement n’existent pas. Ce qui est surprenant, c’est qu’Emmy, avant de produire cette bibliographie, a affiché qu’elle faisait une recherche sur Internet (où elle aurait pu trouver mes vrais articles). Ce qui est par ailleurs agaçant, c’est que mon employeur dispose de ma bibliographie intégrale (ou presque) sur son archive ouverte HAL ; pourquoi son IA ne va-t-elle pas la consulter ?
Mais, me direz-vous, la formation que j’ai suivie insiste sur le fait qu’on ne peut pas se fier aux productions des IA génératives ; c’est à moi de contrôler que les références bibliographiques produites sont correctes. Vérifier des références bibliographiques est une tâche ingrate, répétitive, et qu’on devrait pouvoir automatiser, vu que les articles scientifiques sont indexés dans des bases de données publiques. Autrement dit, on a automatisé (assez approximativement) la tâche qui est intellectuellement intéressante (comprendre les recherches d’une autre personne suffisamment pour les présenter superficiellement) mais on n’a pas automatisé la tâche ingrate, répétitive et sans réflexion. C’est le monde à l’envers.
Je ne suis bien entendu pas le seul à faire ce constat que l’humain ne gagne rien à être le vérificateur de productions automatiques. De nombreuses personnes relèvent qu’on a voulu automatiser la création littéraire et artistique, activité souvent assez agréable et stimulante pour celles et ceux qui la pratiquent, alors qu’il aurait été plus pertinent d’automatiser le ménage. On pointe également que transformer les humains, par exemples les traductrices et traducteurs, de créateurs en relecteurs, dégrade leur bien-être au travail.
Dans le même temps, j’apprends qu’une société savante, l’Association for computing machinery (ACM), s’est mis à afficher dans sa bibliothèque en ligne des résumés par IA des articles qui y sont proposés, alors que les articles comportent déjà un résumé rédigé par les autrices et auteurs. Pire, ce résumé IA avait priorité, dans l’affichage, sur le résumé rédigé par les auteurs ! Devant l’indignation de nombreux collègues, l’ACM a changé la configuration de cet affichage. Personne ne comprend cependant la valeur ajoutée de ce dispositif, qui l’a demandé, etc. Tout ceci est d’autant plus surprenant que dans le même temps, certains dispositifs éditoriaux informatisés utilisés par les grands éditeurs scientifiques sont cruellement primitifs et gagneraient peut-être à avoir une IA ; par exemple, on me confond régulièrement avec Danielle Monniaux, même initiale, même nom de famille, mais experte en follicules ovariens. Je dois parfois refuser de rapporter des articles sur l’hormone anti-müllerienne…
L’image que l’on aime parfois à donner de l’IA est celle d’une technologie libératrice, qu’il suffit de savoir utiliser à bon escient et que seuls des esprits grincheux critiquent. En réalité, dans bon nombre de cas elle est imposée aux utilisateurs : assistants IA intrusifs et difficiles à désactiver, résumés IA non désirés, etc. Elle automatise parfois ce qui ne devrait pas être automatisé, et n’automatise parfois pas ce qui devrait l’être. Dans les administrations, elle est présentée comme la baguette magique qui devrait rendre plus efficaces services et procédures ; au lieu de réfléchir à l’intérêt réel d’étapes, de contrôles et de validations multiples et de les simplifier, on s’imagine que rajouter une couche d’IA fluidifiera le processus.
Gageons qu’il y aura des déceptions ! Mais en attendant, nous aurons enrichi actionnaires et cadres d’un certain nombre d’entreprises technologiques.