Introduction
La vidéosurveillance algorithmique (VSA) consiste à traiter des images de vidéosurveillance avec des logiciels d’intelligence artificielle conçus pour y détecter automatiquement des objets, des personnes ou des situations.
Cette technologie vise à augmenter l’étendue et l’intensité de la vidéosurveillance : elle permet de démultiplier le nombre d’images analysées en temps réel, sans augmenter les effectifs humains nécessaires à leur lecture. Elle pose des problèmes nombreux et comporte des risques importants.
En France, la loi relative aux jeux olympiques et paralympiques (JOP) du 19 mai 2023 a légalisé pour la première fois l’utilisation de l’intelligence artificielle (IA) en temps réel pour la vidéosurveillance de grands événements, à titre expérimental de mai 2023 à mars 2025. L’expérimentation doit tester la capacité de l’IA à détecter certaines situations à risque et évaluer plus globalement son intérêt pour la sécurité des grands événements.
Pour évaluer les résultats de la VSA, le gouvernement devait remettre un rapport au Parlement et à la Commission nationale de l'informatique et des libertés (CNIL) en décembre 2024. Ses conclusions devaient offrir une première analyse en vue d’un débat démocratique sur l’opportunité d’autoriser définitivement le recours à l’IA dans la vidéosurveillance.
Pourtant, sans attendre les résultats de l’évaluation, le préfet de police de Paris s’est déclaré favorable à la pérennisation de la VSA le 25 septembre dernier, tandis que le Premier ministre Michel Barnier annonçait dès le 1er octobre 2024 sa généralisation à l’occasion de sa déclaration de politique générale.
Les jeux sont-ils faits ? Alors que les premiers constats du rapport d’évaluation ont été dévoilés mi-janvier et sont plutôt critiques, le collectif Nos services publics revient sur les nombreux risques portés par la surveillance algorithmique. La présente note s’appuie sur les éléments recueillis au cours de quatre ateliers organisés par le collectif en 2023 et 2024 pour croiser le regard des différents acteurs spécialisés sur ce sujet, sur l'analyse des textes normatifs et sur plusieurs enquêtes de médias indépendants (cf. Méthode et bibliographie).
1. La loi JOP a légalisé le recours expérimental à la VSA pour les grands événements
Une expérimentation qui dépasse le cadre des jeux olympiques et paralympiques
Votée en procédure accélérée, la loi JOP de mai 2023 prévoit la légalisation de la VSA (vidéosurveillance algorithmique) en temps réel à l’occasion des jeux olympiques et paralympiques de Paris, mais elle permet son usage bien au-delà de ce seul événement.
L’expérimentation de la VSA consiste à faire analyser des images de vidéosurveillance par des programmes d’IA chargés d’y détecter en temps réel huit situations prédéterminées, jugées à risque : non-respect du sens de circulation, franchissement d’une zone sensible ou interdite, mouvements de foule, colis abandonnés, densité trop importante de personnes, présence d’armes, chute d’une personne au sol et départs de feux.
Quand le logiciel détecte ou croit détecter l’une de ces situations, il affiche une alerte sur l’écran surveillé par les agent.e.s, qui doivent alors vérifier la situation et proposer les mesures éventuellement nécessaires (intervention, positionnement de forces de l’ordre…).
Pour ce faire, 185 caméras équipées de VSA ont été installées sur les différents sites des JOP. La loi permettait aussi d’expérimenter la VSA sur des images captées par des drones. L’autorisation de déployer des équipements de VSA est donnée par le préfet compétent pour le lieu concerné, pour une durée maximale d’un mois renouvelable plusieurs fois.
Alors que les JOP se sont terminés le 8 septembre 2024, la loi permet le recours à la VSA expérimentale jusqu’au 31 mars 2025.
Au delà des Jeux de 2024, la loi permet en effet d’utiliser la VSA pour toutes les « manifestations sportives, récréatives ou culturelles particulièrement exposées à des risques d’actes de terrorisme ou d’atteintes graves à la sécurité des personnes ». La loi et le décret ne précisent pas à partir de quels seuils et selon quels critères ces événements sont suffisamment importants pour motiver le recours à la VSA. La loi mentionne juste « l’ampleur de la fréquentation » ou « les circonstances ».
Ces termes très généraux laissent aux préfets une marge d’appréciation très large pour décider si le recours à la VSA est proportionné aux enjeux de chaque événement et autoriser ainsi son utilisation. L’absence de critères peut aussi encourager les élus locaux à envisager la surveillance algorithmique pour des événements d’ampleur limitée.
A Paris, le premier test en conditions réelles a été organisé par la préfecture de police lors du concert de Depeche Mode le 5 mars 2024. La ville de Cannes a accepté un partenariat avec l’État pour installer à titre expérimental 17 caméras augmentées autour de l’édition 2024 de son Festival. La ville de Saint-Denis a également acheté début 2024 un logiciel de surveillance algorithmique, dans des conditions largement critiquées en l’absence de débat public.
Un encadrement des données prévu par la loi, mais qui reste flou concernant la phase d'entraînement des IA
La loi pose des garanties concernant la gestion des images et des données de la VSA dans le cadre de l‘expérimentation.
Durant la conception des systèmes de VSA, la CNIL est chargée de vérifier que les services de l’Etat ou les entreprises manipulent les données en respectant le cadre légal de protection des données personnelles. Le Gouvernement doit informer la CNIL tous les trois mois des conditions de déroulement de l’expérience.
La loi interdit l’utilisation de la reconnaissance faciale ou biométrique. Elle interdit également le recoupement des images avec tout fichier comportant des données à caractère personnel. L’exploitation de la VSA est réservée aux « services de la police nationale, de la gendarmerie nationale, d'incendie et de secours, de la police municipale et aux services de sécurité de la SNCF et de la Régie autonome des transports parisiens (RATP) ». La durée de conservation des données est limitée dans le temps.
Le public doit être informé de l’utilisation de la VSA sur les sites concernés. Cependant, la loi permet de ne pas informer le public « lorsque les circonstances l'interdisent ou que cette information entrerait en contradiction avec les objectifs poursuivis » par l’utilisation de la VSA.
Par ailleurs, l’encadrement semble moins précis concernant les données nécessaires à l'entraînement ou à la correction des programmes de VSA.
En effet, la loi JOP autorise provisoirement l’Etat à utiliser des images de vidéosurveillance pour entraîner les programmes d’IA ou corriger leurs performances pendant l’expérimentation. Or, l’Etat peut développer lui-même ces programmes d’IA, mais aussi confier leur développement à des entreprises et de fait, trois entreprises ont été retenues pour livrer les programmes de VSA dans le cadre des JOP.
L’Etat pourrait-il avoir transmis des images issues de la vidéosurveillance à des entreprises pour entraîner les programmes d’IA ? Notre lecture des normes existantes et de la documentation disponible ne nous a pas permis d’écarter cette hypothèse.
2. La VSA fait entrer les risques éthiques et l’opacité de l’IA dans la surveillance des personnes
Les technologies d’IA comportent des risques désormais bien identifiés : biais de représentation, reproduction des stéréotypes, marge d’erreur, impact écologique, opacité des chaînes de production et impossibilité d’expliquer les résultats produits par les IA les plus complexes. Avec l’utilisation de l’IA pour la surveillance des populations, des domaines intéressant les libertés publiques et le respect de la vie privée sont désormais exposés à ces risques.
Des programmes d’IA susceptibles de reproduire des biais, notamment racistes ou sexistes
Pour pouvoir reconnaître une situation au sein d’images nouvelles, un programme d’IA doit avoir été entraîné avec des données d’apprentissage. Dans le cas le plus fréquent, on entraîne l’IA avec des images accompagnées de la bonne réponse, par exemple la présence ou l’absence d’un incendie, pour qu’elle identifie les propriétés d’un incendie et soit ensuite capable de les reconnaître de façon autonome.
Or, ces données d’apprentissage constituent la totalité du monde connu de l’IA. Schématiquement, si l’on n’entraine une IA qu’avec des images d’incendies de forêt, elle sera incapable de détecter des incendies de bâtiments, et déduira parfois la présence d’un feu de la seule présence d’arbres dans l’image.
La diversité et la neutralité des données d'entraînement est ainsi déterminante pour le calibrage des IA. Si les bases de données utilisées pour entraîner une IA comportent, même involontairement, des biais racistes ou sexistes, l’IA reproduira probablement ces biais racistes ou sexistes.
Il existe des cas bien documentés de personnes identifiées comme suspectes par l’IA de par leur seule apparence et alors qu’elles n’ont ni commis aucun geste suspect. L’exemple le plus fréquemment cité est celui du Carnaval de Notting Hill à Londres en 2017, où la reconnaissance faciale a mené à 35 cas de “faux positifs” et à l’arrestation d’une personne innocente d’origine caribéenne. Aux États-Unis, plusieurs arrestations abusives de personnes noires ont mené à une remise en question de cette technologie.
Ces problèmes naissent du manque de représentativité de certaines bases de données, mais aussi de la tendance des IA à généraliser à toute situation future les caractéristiques tirées des exemples « historiques » qui ont servi à l’entraîner.
Des programmes affectés par une marge d’erreur importante
Les dispositifs de vidéosurveillance algorithmiques ne sont pas sans failles. Lorsque le métro de Londres a conduit une expérimentation entre 2022 et 2023, il est arrivé plusieurs fois qu’un usager déclenche l’alerte en levant simplement les bras.
En France, la CNIL constate que, parmi les huit événements à risque dont la détection automatique est testée, la présence d’armes, les mouvements de foule et la chute d’une personne restent très difficiles à qualifier pour une machine. Il est difficile pour une IA de distinguer un parapluie d’un fusil, ou une personne qui fait le guet et d’une personne qui attend.
Pour améliorer la précision de leurs programmes, les fournisseurs ont besoin de bases de données massives, afin d’entraîner « le regard » d’IA sur plusieurs milliers d’images dans des contextes différents. Or, les images de certaines situations n’existent qu’en nombre limité, comme c’est le cas pour une personne dégainant une arme au milieu d’une foule. A l’inverse, les comportements les plus souvent présents dans l’espace public, et donc dans les données d'entraînement, seront plus souvent ciblés par l’IA (mendicité, occupation statique de la rue).
Lorsqu’elle déploie ces outils, la puissance publique s’expose ainsi à la surreprésentation de certaines personnes au sein des alertes remontées par l’IA, par exemple les sans-abris ou les personnes exilé·es. Ces personnes pourraient alors faire l’objet d’une surveillance accrue et injustifiée, alors que l’IA est par ailleurs peu capable, faute de données d’entraînement, de détecter certaines menaces réelles.
Des chaînes de production opaques, un dumping éthique et social très fréquent
Le développement des IA fait souvent l’objet d’une chaîne de production mondialisée. Plusieurs entreprises localisent certaines étapes de production dans des pays offrant un prix du travail ou un encadrement juridique très faibles.
Il est par exemple nécessaire de labelliser manuellement les données d’entrainement, c’est-à-dire d’indiquer pour chaque image la bonne réponse en vue d’entraîner l’IA. Ces opérations répétitives sur des milliers d’images mobilisent une main d’œuvre nombreuse dans des conditions de travail difficiles. Elles sont le plus souvent accomplies par des personnes pauvres, invisibilisées et peu rémunérées, comme c’est le cas à par exemple à Madagascar.
De plus, les entreprises ont besoin de données d'entraînement massives comprenant des millions d’images. Or la taille des bases de données dépend largement du niveau de protection des données personnelles de chaque pays. En France, la CNIL pose un cadre réglementaire plus strict que dans d’autres Etats, dans lesquels les entreprises peuvent se fournir plus facilement.
Enfin, les Etats qui misent activement sur des programmes d’IA pour surveiller les populations ou déterminer les cibles d’opérations militaires, comme la Chine, les États-Unis ou Israël, disposent de briques technologiques (réseaux de neurones et algorithmes correspondants) que les entreprises peuvent chercher à réutiliser pour gagner du temps.
Compte tenu de l’opacité des chaînes de production, il n’est pas exclu que certains fournisseurs de l’Etat en France aient repris des données ou des algorithmes développés selon des modes et pour des finalités contraires au droit international ou au respect des libertés publiques.
Un tel risque n’est pas écarté concernant la société israélienne Briefcam, dont les caméras « augmentées » équipent certaines collectivités et ont été utilisées par le ministère de l’Intérieur. Plusieurs enquêtes ont par ailleurs établi l’utilisation de la reconnaissance faciale par l’armée israélienne à des fins de surveillance dès 2020 et pour décider de bombardements à partir de 2024, en probable violation du droit international et avec un nombre de victimes civiles élevé.
Certes, la loi JOP prévoit que les fournisseurs de VSA retenus par l’Etat déposent une déclaration d’intérêts révélant une partie de leurs liens professionnels ou capitalistiques. Mais cette déclaration ne permet aucunement de garantir l’absence de pratiques contraires à l’éthique et au droit parmi leurs sous-traitants.
Une empreinte écologique très élevée et non documentée à l’occasion des JOP
Ce manque de transparence touche aussi les conséquences environnementales du recours à l’IA. L’entraînement des modèles et leur utilisation en continu impliquent des millions d’heures de calculs informatiques basés sur un nombre croissant de données. Ils génèrent ainsi une consommation d’électricité et d’eau considérable. A cette consommation exponentielle s’ajoute l’impact souvent catastrophique de l’extraction minière des métaux rares nécessaires à leur fabrication. Ces impacts sont généralement invisibilisés.
A cet égard, si la loi prévoit la remise d’un rapport sur l’impact écologique et climatique des bâtiments et les ouvrages livrés à l’occasion des JOP, elle ne prévoit aucune mesure d’impact écologique concernant la surveillance algorithmique.
Un impact financier qui n’est pas maîtrisé
Le marché concernant l’expérimentation de la VSA a été attribué à trois sociétés françaises (Wintics, Videtics et ChapsVision). La première s’est chargée d’équiper la région Île-de-France et les réseaux de transports, les deux autres ont équipé les autres régions métropolitaines et d’outre-mer. Initialement estimé à 2 millions d’euros, le montant final du marché a atteint 8 millions d’euros.
Au-delà du coût d’achat, le prix de la maintenance à long terme interroge. Une fois les acquisitions effectuées, l’Etat et les collectivités devront maintenir les caméras « augmentées » en conditions opérationnelles, selon des conditions tarifaires difficiles à maîtriser compte tenu du faible nombre de fournisseurs spécialisés.
Au sein des budgets de sécurité, le coût de la VSA pourrait ainsi réduire la part disponible pour le recrutement ou le maintien d’agent.e.s. Les conséquences financières de la VSA contribueraient alors à renforcer la dimension technologique et à diminuer la dimension humaine des politiques de surveillance.
Des risques portant sur la primauté humaine et l’explicabilité des décisions
La loi JOP est attentive au principe de primauté humaine dans l’exploitation des signalements produits par la VSA : la confirmation de l’alerte et la réponse apportée sont impérativement décidées par des humains.
En amont du signalement, c’est cependant l’IA qui décide, de façon autonome, des situations sur lesquelles l’attention des agent.e.s doit se porter. C’est donc la machine qui découpe seule, au sein d’un volume toujours croissant d’images, le périmètre des images devant faire l’objet d’une attention humaine plus soutenue.
De même, la loi prévoit l’obligation de pouvoir expliquer les conséquences des alertes générées par les IA, mais pas l’origine de ces alertes. Ainsi, les services de sécurité doivent enregistrer les données relatives aux alertes, pour pouvoir expliquer par la suite toute décision prise. Mais les fournisseurs de VSA ne sont pas tenus d’expliquer précisément le fonctionnement des algorithmes, ni d’expliquer à postériori les raisons pour lesquelles leur programme a généré telle ou telle alerte.
Pourtant, l’explicabilité des résultats produits par les IA est un enjeu essentiel, et particulièrement important dès lors que les IA interviennent dans le domaine des libertés et de l’ordre publics.
De fait, le recours à l’IA peut entraîner des situations où « la surveillance d’une personne en viendra à être décidée selon des critères dont aucun humain ne connaîtra ni la teneur ni la pondération de façon certaine » selon la commission nationale de contrôle des techniques de renseignement.
Or, expliquer les résultats fournis par les IA est coûteux, voire impossible techniquement lorsqu’il s’agit d’IA très complexes telles que certains réseaux de neurones. Quand elle est possible, la fourniture d’explications précises suppose que les entreprises exposent le fonctionnement de leurs algorithmes et de leurs méthodes, ce qu’elles peuvent vouloir éviter, pour conserver leurs secrets industriels ou masquer des pratiques contestables.
3. Des pouvoirs publics dépendants d'une technologie opaque, qu'ils ne maîtrisent pas et dont les résultats ne sont pas toujours explicables
Une intensification de la surveillance en temps réels
Les diverses estimations font état d’au moins 935 000 caméras de vidéosurveillance en France, dont 90 000 caméras pour la police et la gendarmerie nationales, concernant la voie publique. Dès lors, « les capacités humaines de visionnage et d’analyse sont largement dépassées ».
La VSA vise dépasser cette limite humaine, en augmentant considérablement la part des images effectivement analysées au sein de l’ensemble des images captées. Elle s’inscrit ainsi dans un « recours toujours croissant aux techniques les plus intrusives » (CNCTR) et pourrait contribuer à l’intensification et à la généralisation de la surveillance, avec une augmentation massive de la quantité de comportements surveillés en temps réel par l’Etat, les collectivités territoriales et les gestionnaires de réseaux de transports ou de grands équipements.
Un rôle normatif assumé par des entreprises dans des conditions opaques
Si cette évolution est inquiétante à plusieurs égards, confier à des algorithmes l’identification des situations et des personnes jugées à risque pose au moins deux problèmes particuliers, régulièrement soulignés dans le cadre de nos ateliers.
D’une part, à travers l'entraînement et la programmation des IA, les entreprises sont amenées à jouer un rôle croissant dans la définition de l’ordre public, en apprenant aux IA à distinguer ce qui est “normal” de ce qui est “anormal” au sein de l’espace public. Comme le relève la CNDH, « les industriels en charge de l’élaboration des logiciels contribuent en grande partie à l’élaboration de cette norme de comportement ».
Une étape fondamentale de la surveillance, à savoir la détection et la préqualification de situations considérées comme « anormales » se trouve de fait externalisée.
Alors que cette évolution est en elle-même préoccupante, la loi JOP de 2023 n’impose pourtant pas d’obligations précises aux entreprises concernant l’origine et l’explicabilité des alertes remontées par les programmes de surveillance algorithmique.
Une dépendance à la “boîte noire” des IA dont l’Etat semble se satisfaire
La loi se limite à demander aux fournisseurs « une documentation technique complète » dont le contenu n’est défini ni au niveau législatif ni dans le décret d’application. Si les entreprises doivent « présenter des garanties de compétence, de continuité et de contrôle humain » pour corriger les erreurs ou les biais éventuels, elles ne sont pas tenues d’expliquer à l’Etat ou aux collectivités l’origine, la fréquence ou la nature des erreurs et des biais. Dans ces conditions, la maîtrise de ces outils par la puissance publique semble insuffisante.
L’activation involontaire - et illégale - de la reconnaissance faciale sur des programmes utilisés par le ministère de l’Intérieur et plusieurs collectivités locales a d’ailleurs donné en 2023 un exemple des risques attachés à cette situation.
A cette absence de contraintes en termes d’explicabilité des programmes, s’ajoute l’absence de toute obligation d’internalisation des compétences dans les marchés publics. Ces clauses d’internalisation, qui auraient permis de transférer progressivement des entreprises vers les agent.e.s de l’Etat une partie de leurs techniques de programmation, ne sont prévues ni par la loi ni par son décret d’application.
La loi ne prévoit pas non plus de formation des agent.e.s concernant les risques éthiques, les rapports entre l’IA et les biais de représentation, ou encore les conséquences du recours à l’IA sur l’action de la police. La formation envisagée est de nature technique : il s’agit seulement d’apprendre aux agent.e.s à gérer l’alerte remontée par l’outil, pour analyser la proposition de la machine et écarter les fausses alertes.
La puissance publique semble donc se résigner à utiliser des outils « boîte noire » dont les fournisseurs ne sont tenus d’expliquer ni le fonctionnement, ni les résultats, alors même qu’ils contribuent à définir les configurations de l’espace public qui seront préqualifiées comme normales ou anormales.
Une perspective inacceptable pour la protection des libertés et la gestion du service public
Les conditions d’expérimentation définies par la loi JOP préfigurent ainsi une situation de dépendance de l’Etat à des technologies dont il ne maîtrise ni le fonctionnement ni les résultats.
Une telle situation n’est pas acceptable concernant la surveillance de l’espace public et des populations. D’abord parce que les programmes d’IA présentent des biais et des risques éthiques que l’Etat et les collectivités doivent impérativement pouvoir maîtriser en toute transparence, afin de garantir la neutralité du service public et l’égalité de traitement dans un domaine intéressant la plupart de nos libertés.
Ensuite parce que le recours à l’IA peut modifier plus globalement la priorisation et la répartition des interventions de police selon des critères qui ne sont pas nécessairement souhaitables et dans des conditions là encore peu transparentes. Billel Benbouzid a observé ce phénomène aux États-Unis, où la répartition des patrouilles est parfois décidée via un logiciel d’analyse prédictive. Cette gestion des interventions contribue selon lui à accentuer « la politique du chiffre » avec une visée de rentabilité mesurée par l’IA selon des caractéristiques prédéfinies. Il s’agit ainsi d’un « calcul de retour sur investissement (...) où les gains sont estimés en fonction des indices du coût du crime ».
Face à l’ensemble de ces enjeux, la loi JOP dessine une perspective particulièrement inquiétante par son manque d’exigence concernant la transparence et l’explicabilité des programmes d’IA. Il n’est pas évident que le gouvernement souhaite à l’avenir renforcer ce niveau d’exigences, car il souhaite voir émerger des champions français de l’IA dans le domaine de la sécurité, dans un contexte de concurrence avec des Etats offrant un cadre encore moins contraignant.
Une législation européenne qui n’exclut pas totalement le recours à la VSA en temps réel
Le règlement sur l'intelligence artificielle (dit AI Act) introduit un cadre juridique commun pour l’IA au sein de l'Union européenne. Il vise en particulier à maîtriser les risques associés à l'IA, qu'il classe en fonction du type d'application (risque minime, limité, élevé ou inacceptable). Ses dispositions entreront progressivement en application au cours des 6 à 36 mois suivants sa promulgation en août 2024.
L’AI Act interdit certaines applications de l’IA dont le niveau de risques est inacceptable, comme la notation sociale, la catégorisation biométrique et la reconnaissance faciale en temps réel. Il prévoit en outre des exigences applicables aux fournisseurs de systèmes d'IA à risque élevé, notamment pour éviter les biais, fournir une documentation permettant de vérifier leur conformité, accompagner les utilisateurs pour qu’ils respectent le règlement européen, prévoir une surveillance humaine et garantir la sécurité de leurs systèmes.
Mais le règlement prévoit des exceptions. L’article 2.3 de l’AI Act dispose en effet que « le présent règlement (…) ne porte pas atteinte aux compétences des États membres en matière de sécurité nationale ». Ainsi, « dans une situation d’urgence dûment justifiée pour des raisons exceptionnelles de sécurité publique (…) les autorités répressives » peuvent utiliser « un service d’IA à haut risque spécifique » (article 46). La France en particulier aurait pesé sur les discussions européennes pour que ces exclusions soient intégrées au règlement, comme l’indique une récente enquête de Disclose.
De même, si l’identification biométrique en temps réel dans l’espace public est globalement interdite aux forces de l’ordre, elle peut être autorisée dans certaines conditions pour la recherche de personnes victimes d'enlèvement, la prévention d'une menace grave et imminente pour la vie ou d'un attentat terroriste prévisible ou pour identifier les suspects de crimes grave (article 5).
Il est donc à craindre que les règles prévues par l’AI Act ne soient pas suffisantes pour améliorer la transparence et le contrôle afférents.
4. Les JOP, une vitrine pour les industries françaises de la sécurité
Pour favoriser le développement de "champions" de la sécurité made in France, le gouvernement a renforcé ses échanges avec les entreprises du secteur de l’IA.
En 2020, le ministre de l’Intérieur a conclu un contrat de filière avec le Comité stratégique de filière (CSF) des industries de sécurité, qui vise notamment au “renforcement de la filière industrielle française par rapport à ses concurrents étrangers”. Parmi les projets devant faire l’objet d’efforts communs figuraient le développement des “villes intelligentes, visant à “sécuriser toute une ville, bâtie entre autres sur les technologies du numérique” et “la sécurité des grands événements et des JOP Paris 2024”.
Le comité de pilotage de l’expérimentation de la VSA, associant l’ensemble des parties prenantes, est présidé par la directrice des entreprises et partenariats de sécurité et des armes (DEPSA) du ministère de l’Intérieur. Par ailleurs, l’implication des entreprises de sécurité durant les JOP a été préparée par des rencontres en amont entre la puissance publique, l’industrie et différents groupes d’intérêts.
Milipol, le salon international des professionnels de la sécurité, a offert un cadre parmi d’autres pour ces rencontres, de même que la première édition des “Jeudis de la sécurité”, qui a réuni le 23 mars 2017 le président des salons Milipol, plusieurs préfets, un délégué du ministère de la ville, de la jeunesse et des sports, le coordinateur de la sécurité des JOP 2024 ainsi que plusieurs représentants d’entreprises autour du thème de la “Sécurité au cœur des Grands Événements”.
La chercheuse Myrtille Picaud note à ce titre que les JOP offrent “une vitrine permettant de démontrer le savoir-faire national en matière de sécurité et d’obtenir par la suite des contrats dans d’autres pays ».
Sans attendre la fin de la période d’expérimentation ni la remise du rapport d’évaluation prévu par la loi, une nouvelle rencontre a réuni l’Etat et les entreprises le 26 septembre 2024 pour partager leur « retour sur la mise en œuvre d'un dispositif sécuritaire sans précédent ».
Parmi les invités figuraient le préfet de police de Paris, le Procureur de la République de Bobigny et un conseiller de la délégation interministérielle aux grands événements sportifs. Par ailleurs, le programme du « Jeudi de la sécurité » consacré au bilan post-JOP évoque ouvertement “l’héritage de ces Jeux pour les entreprises et les forces de sécurité”.
Le déploiement de la VSA dans le cadre de la loi JOP a donc également offert aux entreprises la possibilité de tester leurs technologies de VSA pour les optimiser, augmenter leur visibilité et, possiblement, leurs débouchés.
5. Un rapport d’évaluation dont les premières conclusions soulignent les risques inhérents à la VSA
L’évaluation de la VSA devait être conduite selon des modalités avant tout techniques
Le premier collège du comité rassemble des “personnalités indépendantes” (quatre parlementaires, des experts de la protection des données à caractère personnel, des technologies numériques ou et des libertés publiques, ainsi que le maire d'une commune n'ayant pas participé à l'expérimentation). Le second réunit les “services utilisateurs” (deux représentants de la police et de la gendarmerie nationales, le préfet de police, la directrice des entreprises et partenariats de sécurité et des armes, le maire d'une commune ayant participé à l'expérimentation, le délégué interministériel aux JOP et des représentants de la RATP, de la SNCF et d'Ile-de-France Mobilités). Trois grands axes faisaient l’objet du protocole d’évaluation:
- les performances techniques des traitements algorithmiques mis en œuvre ;
- les effets opérationnels du recours aux traitements algorithmiques ;
- l'impact des traitements algorithmiques sur la sécurité et l'exercice des libertés publiques, ainsi que la perception de cet impact par le public.
Le comité ne comporte aucune association de défense des libertés publiques, ni de chercheur·euse·s indépendants en technologies d’IA ou concernant leurs impacts sociétaux, ni de syndicats des personnels concernés par l’usage de la VSA. Le cadre d’évaluation initial semble largement quantitatif et organisé selon un recueil d’indicateurs chiffrés.
Le décret prévoit certes une évaluation du “degré de satisfaction et de confiance du public et des personnels des services” ayant employé la VSA “en analysant les résultats de la consultation » prévue par la loi JOP.
Mais la loi JOP ne prévoit pourtant aucune consultation du public et des agent.e.s pour évaluer l’expérimentation de la VSA, et nous n’avons trouvé aucune trace d’une telle consultation dans les faits.
Les premières conclusions du rapport d’évaluation soulignent les limites techniques et les risques éthiques liés à la VSA
Le rapport d’évaluation aurait été remis le 14 janvier 2025 au ministre de l’Intérieur. Il n’est pas encore public mais certains éléments ont déjà été fournis par voie de presse. Le rapport souligne les limites techniques, avec des performances “très inégales” selon le contexte (présence ou non d’éclairage, espaces clos ou ouverts) ou selon le type de situations : les intrusions sont relativement bien détectées, mais les mouvements de foule sont mal compris et le mobilier urbain voire des personnes statiques sont assimilées à des colis abandonnés.
Si le comité renvoie la décision de pérenniser ou non le dispositif à l’échelon politique, il souligne l’importance des risques éthiques et la nécessité de contrôle et de transparence en préconisant notamment le contrôle par le Parlement et la CNIL, l’interdiction de la reconnaissance faciale, l’information claire du public, et la nécessité d'évaluer toute décision de mise en oeuvre à l’aune des libertés publiques et des droits fondamentaux. La rapport appelle enfin à une "une vigilance particulière ...) afin notamment de prévenir tout risque de détournement des finalités légales ou, plus fondamentalement, d’accoutumance au recours à une telle technologie à des fins de surveillance"
6. Des annonces politiques prématurées, une vigilance de rigueur
Quatre mois avant la remise de ce rapport et avant même que le comité d’évaluation n’ait tenu sa première réunion, le préfet de police de Paris Laurent Nuñez se déclarait d’ores et déjà « très favorable » à la pérennisation de la VSA. Selon lui, la VSA aurait « démontré son utilité » et présenterait un « bilan positif ».
De même le 1er octobre, le Premier ministre Michel Barnier déclarait d’ores et déjà souhaiter la « généralisation de la méthode expérimentée pendant les Jeux olympiques » à l’occasion de la déclaration de politique générale énonçant ses principales priorités.
Le collectif Nos services publics appelle à une forte vigilance face au déploiement de la VSA
L’expérimentation de la VSA à l’occasion des JOP 2024 a mis en lumière les limites et les risques nombreux portés par le recours à cette technologie.
Alors que l’IA est testée dans un domaine fondamental pour nos libertés publiques et privées et touche au contenu même de l’ordre public, la loi a prévu des garanties nettement trop faibles concernant la transparence des logiciels et l’explicabilité de leurs résultats. L’Etat semble pour sa part se satisfaire de sa dépendance à des technologies opaques, maîtrisées par les seuls prestataires extérieurs et dont les résultats sont souvent inexplicables s’agissant des IA les plus complexes. Cette situation inquiète, alors même que les programmes d’IA sont connus pour leur tendance à reproduire des biais dangereux et leur capacité à orienter l’action des forces de police selon des critères parfois méconnus des utilisateurs, ou dont le teneur n’aura pas nécessairement fait l’objet d’un débat démocratique au sein des collectivités concernées ou au niveau national.
Mais, au-delà des risques qui concernent l’éthique, l’écologique, l’opacité et la dépendance, ces dispositifs posent des questions centrales concernant l’avenir de la surveillance : sa généralisation, son intensification en temps réel, ses conséquences sur les libertés publiques, et tout simplement sur notre capacité à nous comporter librement et spontanément dans l’espace public. Dans le cadre de la récente expérimentation, ces enjeux n’ont quasiment pas été traités par les pouvoirs publics.
A l’inverse, les déclarations du gouvernement annonçant de façon prématurée la pérennisation des techniques d’IA dans la vidéosurveillance manifestent un empressement inquiétant et semblent autant des gages donnés aux entreprises du secteur afin d’encourager leurs investissements.
C’est tout le contraire qu’il faut faire : prendre le temps d’évaluer les enjeux, d’expliquer les risques et d’organiser un débat en impliquant le plus largement possible les agent.e.s publics, les citoyen.ne.s et les élu.e.s, sur le recours à cette technologie car lorsqu’elle est appliquée à la surveillance de la population, l’IA semble présenter bien plus de risques que d’avantages.
Méthode
Nos Services Publics a organisé en 2023 et 2024 trois ateliers pour croiser les analyses d’expert.es, de militant.es et de chercheur.euses :
8 décembre 2023 : quel est le cadre légal qui s’applique ? Pour comprendre exactement de quoi il est question lorsqu’on parle du déploiement de la VSA à l’occasion des Jeux de Paris.
Avec : Elisa Martin, députée NUPES - LFI membre de la commission des lois à l’Assemblée Nationale (qui traite de tous les sujets régaliens, notamment la sûreté) ; et Serge Slama, professeur de droit public à l’université Grenoble Alpes.
30 janvier 2024 : la VSA comment ça marche ? les aspects techniques. Pour saisir les spécificités de la VSA.
Avec : Alexis, ingénieur IA à la CNIL ; Marne, chargée de communication, et Noémie, juriste, de la Quadrature du Net.
4 avril 2024 : quel impact de la VSA sur les métiers publics ? Pour analyser ses conséquences pour les services publics.
Avec : CF, sociologue (anonymisé à sa demande pour ne pas interférer avec son travail) ; Christophe Korell, major de police en détachement au ministère de la justice et président de l’Agora des Citoyens, de la Police et de la Justice ; et Assia Wirth, doctorante en sociologie à l’ENS Paris-Saclay.
Références
Textes réglementaires, avis et rapports
Règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle et modifiant les règlements (CE) n° 300/2008, (UE) n° 167/2013, (UE) n° 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (règlement sur l’intelligence artificielle) (Texte présentant de l'intérêt pour l'EEE)
Résumé de haut niveau de la loi sur l'IA Act européen
la page Wikipédia sur l’IA Act
“Sécurité des Jeux Olympiques : « des opérateurs de caméras augmentées”, Ministère de l'intérieur, 7 aout 2024 mis à jour le 15 janvier 2025
Commission des lois de l’Assemblée Nationale : M. Laurent Nuñez, préfet de police de Paris, sur le bilan des jeux olympiques et paralympiques de 2024 en matière de sécurité, 25 septembre 2024
Décret n° 2023-855 du 4 septembre 2023 relatif à la déclaration des intérêts de la personne développant ou fournissant un traitement algorithmique à l'Etat, pris en application de l'article 10 de la loi n° 2023-380 du 19 mai 2023 relative aux jeux Olympiques et Paralympiques de 2024 et portant diverses autres dispositions
Caméras dites « augmentées » dans les espaces publics : la position de la CNIL - 19 juillet 2022
Publication du rapport d'activité de la CNCTR pour 2023
Systèmes d’intelligence artificielle générative : enjeux d’éthique. Avis 7 du CNPEN. 30 juin 2023.
“Utilisation de BriefCam et d’autres logiciels d’analyse vidéo par l’État et des communes : la CNIL prononce plusieurs mises en demeure”, communiqué de la CNIL du 5 décembre 2024
Rapport de l’inspection générale de l’administration (IGA) : ”Usage de logiciels d'analyse vidéo par les services de la police et de la gendarmerie nationales (Briefcam)”, 28 octobre 2024
Travaux de recherche
Benbouzid, Bilel, “La police prédictive : technologie gestionnaire de gouvernement”, dans Gouverner la ville numérique, Antoine Courmont et Patrick Le Galès, La vie des idées - PUF, 2019.
Castagnino Florent, Rendre "intelligentes" les caméras : déplacement du travail des opérateurs de vidéosurveillance et redéfinition du soupçon, Sciences Po – Cities and Digital Technology Chair Working Papers, n°05/2019, 2019, 32 p.
Loewenstein Antony, The Palestine Laboratory. How Israel Exports the Technology of Occupation Around the World,Verso, 2023.
Picaud Myrtille, Peur sur la ville. La sécurité numérique pour l’espace urbain en France. [Rapport de recherche] 01/2021, Chaire ”Villes et numérique”, Ecole urbaine de Sciences Po. 2021. halshs-03138381
Etat, régions, départements : des incitations financières multiples à la vidéosurveillance, LINC, 2021
Séminaire Critique de l’intelligence artificielle – L’IA dans les politiques de sécurité : l’exemple de la vidéosurveillance algorithmique, avec Bertrand Pailhès, directeur des technologies et de l’innovation de la CNIL, 10 octobre 2023
“La chaîne d'approvisionnement humaine derrière les technologies intelligentes” – HUSH, projet financé par l’Agence Nationale de la Recherche en décembre 2019
Articles de presse
“Comment Israël utilise la reconnaissance faciale pour surveiller les Palestiniens”, France 24, 9 novembre 2021
“La Cnil se méfie de la reconnaissance faciale aux JO de Paris en 2024” Numerama, 25 janvier 2023
“Enquête : derrière l’IA, les travailleurs précaires des pays du Sud”, The Conversation, 26 mars 2023
“90 000 caméras de surveillance dans les rues françaises”, Balises, 5 juin 2023
“Does A.I. Lead Police to Ignore Contradictory Evidence?” The New Yorker, 13 novembre 2023
“La police nationale utilise illégalement un logiciel israélien de reconnaissance faciale”, Disclose, 14 novembre 2023
“Guillaume Gormand, chercheur : « Aujourd’hui, la plupart des systèmes de vidéosurveillance en France ne sont pas exploités »”, Le Monde, 2 janvier 2024
“Gaza : des dizaines de milliers de cibles identifiées par l’IA pour l’armée israélienne”, Le Monde, 5 avril 2024
“Des "caméras intelligentes" seront testées durant le prochain Festival de Cannes : on vous explique tout ça”, Nice Matin, 23 avril 2024
“En catimini, Saint-Denis achète un logiciel de surveillance algorithmique”, Mediapart, 30 juillet 2024
“Le préfet de police est « très favorable » à garder la vidéosurveillance par IA en France”, Numérama, 25 septembre 2024
“Le préfet de police de Paris « favorable » à une prolongation du recours à la vidéosurveillance algorithmique expérimentée pendant les JO”, Le Monde, 25 septembre 2024
“Michel Barnier va généraliser la vidéosurveillance algorithmique en France”, Numérama, 2 octobre 2024
“Le gouvernement envisage de généraliser la vidéosurveillance algorithmique expérimentée pendant les JO”, France Info, 2 octobre 2024
“Une intelligence pas si artificielle : qui sont les petites mains derrière l’IA ?”, Basta, 3 décembre 2024
“Vidéosurveillance algorithmique : le comité d'évaluation émet des doutes sur l'efficacité du dispositif mis en place pour les Jeux de Paris”, FranceInfo, 15 janvier 2025
“ Intelligence artificielle : la France ouvre la voie à la surveillance de masse en Europe”, Disclose, 22 janvier 2025