[English translation below]
Récemment, la France a proposé que les systèmes d'intelligence artificielle (IA) tels que ceux qui sous-tendent ChatGPT soient autorégulés par les entreprises, sans aucune sanction en cas de violation des règles. Cette proposition est alarmante et ne permettra pas d'apporter les garanties que l’Artificial Intelligence Act (AI Act ou règlement européen sur l’intelligence artificielle) promet d’assurer aux citoyens et à la société.
Cette proposition française de faire reposer les garanties sur l’autorégulation arrive alors qu’on apprend que dans notre pays un algorithme anti-fraude de la CAF cible de façon discriminatoire les personnes en situation de handicap, disposant de revenus faibles, au chômage, allocataires des minima sociaux, habitant des quartiers dits « défavorisés ». 69% des Français et Françaises pensent que les technologies d’intelligence artificielle apportent plus de problèmes que de bienfaits. Leurs questionnements quant à ce qu'engendre l’IA ne sont pas infondés.
Géants et startups vont très vite dans cette ruée vers l’intelligence artificielle, et on assiste aussi à une grave explosion des dérives et des dommages.
La désinformation de masse est l’une d’entre elles. Par exemple, en septembre dernier, une vidéo de type « deepfake », créée avec l’aide d’une IA générative, montrait Emmanuel Macron en train d’annoncer sa démission. Plusieurs posts ont récolté jusqu’à 1 million de vues. En ciblant les personnalités politiques, c’est l’intégrité et la sincérité du débat démocratique que l’on menace.
96% des deepfakes créés via des IA génératives sont des contenus pornographiques non-consensuels, représentant quasi-exclusivement des femmes. Nombre de ces deepfakes sont également pédopornographiques avec des actes de viol ou de violence, un problème qui, d’après les chercheurs, ne va aller qu’en augmentant. Les scams (cyber arnaques) de tous types, boostés par IA, sont aussi en augmentation.
Ainsi, les dérives liées aux systèmes d’IA touchent d’abord des groupes vulnérables, précarisés, déjà en situations d’exclusion.
Les données d'entraînement des IA sont la plupart du temps les données d’Internet. Elles regorgent de préjugés et stéréotypes sexistes et racistes. Ces biais déterminent leurs résultats : des images et textes d’hommes faisant carrière en science et de femmes dans les arts, des logiciels de surveillance qui confondent une personne noire avec une autre, d’autres logiciels qui discriminent des candidats à l’embauche, à l’obtention d’un prêt par un établissement financier.
L’AI Act est actuellement en discussion à Bruxelles au sein des trilogues entre Parlement européen, Commission européenne et États membres. Ce règlement est très attendu : il a pour vocation, et c’est un besoin essentiel, de réguler les IA existantes et à venir dans l’Union européenne. C’est un règlement qui pourrait avoir une influence majeure sur les autres lois à venir dans le monde pour imposer à l’industrie de l’IA que les résultats du traitement de l’information mis en œuvre dans les applications développées respectent effectivement les droits humains.
C’est pourquoi la récente prise de position de la France, qui veut faire reposer les garanties sur une autorégulation par les développeurs des applications au lieu d'imposer des process indépendants constituant des garde-fous solides aux « modèles de fondation », est extrêmement préoccupante. S’assurer de la qualité des modèles de fondation est primordial, car ce sont des modèles d’intelligence artificielle de grande taille à la base de nombreuses applications.
Le lobbying de la part de la start-up française Mistral pourrait avoir joué un rôle dans la proposition française. Le fait que Mistral ait sorti un modèle de langage sans aucun mécanisme de modération, pouvant discuter avec l’utilisateur des avantages de l'épuration ethnique, de la manière de rétablir les politiques discriminatoires contre les Noirs, d’instructions pour se suicider ou de différents moyens de tuer sa femme, suffit à inquiéter.
Ne comptons pas sur l'autorégulation du secteur. En l'absence d'une réglementation solide assortie d'une mise en application efficace, les entreprises n’auront pas à s'embarrasser des préjudices causés par leurs systèmes d'IA. Un régime d'autorégulation est voué à l'échec. Et les effets de cet échec seront ressentis par tous les Européens et les Européennes.
Et, ce seront les milliers de petites et moyennes entreprises qui créeront des applications à partir de modèles de fondation qui devront supporter le coût de la mise en conformité. Si le modèle de fondation en amont ne prend pas en compte des préjudices tels que la discrimination, chacune des entreprises développant des IA en aval devra prendre en compte ces préjudices et leurs conséquences pour déployer ses produits. Ce « coût » serait susceptible de dissuader les PME de créer des applications. En conséquence, le décollage d’entreprises européennes d’IA pourrait être entravé, un comble alors que c’est l’argument mis en avant par la France pour plaider le laisser-faire.
Une réglementation assortie de garde-fous solides et d'un contrôle externe est essentielle et contribuera ainsi à une innovation responsable qui pourrait donner aux entreprises européennes un avantage concurrentiel. In fine, l’innovation par le développement de modèles plus fiables, plus sûrs, de meilleure qualité et plus respectueux des droits humains contribuera à renforcer l'écosystème des IA. Nous espérons que nos dirigeantes et dirigeants prendront la bonne décision pour protéger les citoyennes et citoyens.
Rédacteurs
Xavier Brandao, Directeur et cofondateur, #jesuislà
Kris Shrishak, Senior Fellow, ICCL
Premiers signataires
Alice Apostoly, Co-directrice de l’Institut du Genre en Géopolitique
Sophia Antoine, Artiste, activiste FEMEN et cyber activiste féministe
Patrick Baudouin, Président de la LDH
Johanna Soraya Benamrouche, cofondatrice de Féministes contre le cyberarcèlement
Fatima Benomar, Présidente de l’association Coudes à Coudes
Shani Benoualid, Cofondatrice, #jesuislà
Adélaïde Bon, Autrice
Vincent Brengarth, Avocat au Barreau de Paris
Simon Chignard, Expert indépendant IA & Data
Louise Delavier, Militante féministe
Marc Faddoul, Directeur, AI Forensics
Florence Hainaut, Journaliste et réalisatrice
Marc Knobel, Historien
Mié Kohiyama, Co-fondatrice de BeBraveFrance
Le Mouton Numérique
Amaury Lesplingart, Fondateur, CheckFirst
Shanley Clemot McLaren, Co-présidente, #StopFisha
Ketsia Mutombo, présidente et cofondatrice de Féministes contre le cyberharcèlement
Rachel-Flore Pardo, Co-présidente, #StopFisha
Soizic Pénicaud, chercheuse indépendante en numérique et libertés publiques
Marie Rabatel, Présidente de l’Association Francophone de Femmes Autistes et membre de la Ciivise
Déborah Rouach, Co-directrice de l’Institut du Genre en Géopolitique
Laure Salmona, Cofondatrice de Féministes contre le cyberharcèlement et autrice
Muriel Salmona, Psychiatre et présidente de l’association Mémoire traumatique et victimologie
Dominique Sopo, Président de SOS Racisme
Alice Stollmeyer, Fondatrice de Defend Democracy
Suzanne Vergnolle, Maître de conférences en droit du numérique au Cnam
AI: Self-regulation of foundation models would jeopardize human rights
Recently, France proposed that artificial intelligence (AI) systems such as those underpinning ChatGPT should be self-regulated by companies, with no penalties for violating the rules. This proposal is alarming, and will not provide the guarantees that the Artificial Intelligence Act (AI Act or European regulation on artificial intelligence) promises to ensure for citizens and society.
This French proposal to base guarantees on self-regulation comes as we learn that in our country, a CAF anti-fraud algorithm discriminatorily targets people with disabilities, on low incomes, unemployed, receiving minimum social benefits, or living in so-called "disadvantaged" neighbourhoods. 69% of French people think that artificial intelligence technologies bring more problems than benefits. Their concerns about the implications of AI are not unfounded.
BigTech and startups are moving very fast in this rush towards artificial intelligence, and we are also witnessing a serious explosion in abuses and damage.
Mass disinformation is just one of them. For example, last September, a deepfake video, created with the help of generative AI, showed Emmanuel Macron announcing his resignation. Several posts garnered up to 1 million views. By targeting political figures, the integrity and sincerity of democratic debate is threatened.
96% of deepfakes created via generative AI are non-consensual pornographic content, almost exclusively depicting women. Many of these deepfakes are also child pornography, depicting acts of rape or violence, a problem which the researchers predict will only grow. AI-powered scams of all kinds are also on the increase.
Thus, the abuses associated with AI systems primarily affect vulnerable groups, already in situations of exclusion.
Most AI training data comes from the Internet. They are full of sexist and racist prejudices and stereotypes. These biases determine their results: images and texts of men pursuing careers in science and women in the arts, surveillance software that confuses one black person with another, other software that discriminates against applicants for employment or loans from financial institutions.
The AI Act is being discussed as part of the “trilogues” between the European Parliament, the European Commission and Council (representing the 27 Member States). This regulation is eagerly awaited: its purpose is to regulate risky AI uses in the European Union. It is a regulation that could influence laws in other parts of the world to make sure that human rights are respected when AI applications are developed and deployed.
This is why France's recent move to base safeguards on self-regulation by application developers, rather than imposing strict rules to provide solid safeguards for "foundation models", is extremely worrying. Ensuring the quality of foundation models is vital, as these are the large-scale artificial intelligence models on which many applications are based.
Lobbying by the French start-up Mistral may have played a role in the French proposal. The fact that Mistral has released a language model without any moderation mechanisms is worrying. This model discriminates against people of color and provides instructions on ethnic cleansing or to commit suicide or different ways to kill your wife...
Let's not rely on industry’s self-regulation. In the absence of robust regulation with effective enforcement, companies will not have to bother with the harms caused by their AI systems. A self-regulatory regime is doomed to failure. And the effects of this failure will be felt by all Europeans.
And, it will be the thousands of small and medium-sized enterprises that create applications from foundation models that will have to bear the cost of compliance. If the upstream foundation model does not take into account harms such as discrimination, each of the companies developing AI downstream will have to take these harms and their consequences into account when deploying their products. This "cost" is likely to deter SMEs from creating applications. As a result, many European AI companies could be hampered.
Regulation with strong safeguards and external controls is essential, and will contribute to responsible innovation that could give European companies a competitive edge. Ultimately, innovation through the development of more reliable, safer, higher quality and more human rights-friendly models will help strengthen the AI ecosystem. We hope that our leaders will take the right decision to protect citizens.