Chères actrices, chers acteurs, les deepfakes vont changer votre vie

Mort dans un tragique accident de la route en 1955, James Dean incarnera très prochainement Rogan, dans « Finding Jack ». Le temps d’un film, les médias synthétiques vont ramener la légende de La Fureur de vivre d’entre les morts. Plus qu’un évènement, c’est une véritable révolution que le monde du cinéma et la communauté des actrices et acteurs s’apprêtent à vivre.

james-dean-jd-deepfakes
Après une année d’interruption, le Festival de Cannes 2021 inaugurera sa première montée des marches le 6 juillet prochain. Rendez-vous incontournable de l’industrie du cinéma du monde entier, les actrices et acteurs sont naturellement les plus attendus sur le tapis rouge du Palais des Festivals. Nombre d’entre eux ignorent cependant que tout ce petit monde va probablement subir un profond bouleversement dans les années à venir.

L’adoption massive du motion capture, des virtual sets et des CGI 1 qui ont servi à réaliser tous les plus grands films de science-fiction des 20 dernières années, d’Avatar de James Cameron aux Avengers du Marvel Universe ou Star Wars et bien d’autres a d’ores et déjà modifié en profondeur la façon dont on joue la comédie aux États-Unis sur certaines productions hollywoodiennes.

Depuis quelque temps déjà, les médias synthétiques intéressent les studios d’effets spéciaux et les deepfakes (définition) en particulier font leur apparition dans quelques productions ou mixée avec des techniques de création numérique plus traditionnelles. L’objectif avoué des studios spécialisés vise à reproduire le plus fidèlement possible les performances de leurs acteurs/trices (voire de nos amis à poils qui les accompagnent) pour repousser encore plus loin les limites de la créativité.

Les outils se développent, notamment dans l’industrie du jeu vidéo, pour générer des humains synthétiques 2 qui génère des versions ressemblantes certes, mais pas complètement bluffantes. En revanche, les tentatives se multiplient de par le monde pour générer des humains synthétiques capables de se substituer à de véritables individus. Les débuts du présentateur synthétiques ont eu d’abord lieu en Chine, en 2018 ou l’agence d’information Xinhua a propulsé un présentateur anglophone sur le devant de la scène 3.

Xinhua's first English AI anchor makes debut

Début 2020, l’agence d’information britannique Reuters s’est par exemple associée à Synthesia, une entreprise basée à Londres spécialisée dans la fabrication d’humains de synthèse, pour créer un présentateur complètement artificiel 4. En Corée, la chaine câblée MBN a également développé son propre présentateur (trice) synthétique AI Kim 5.

Hollywood cherche son double synthétique

Des plateaux du 20 h aux plateaux de cinéma, il n’y a qu’un pas. Le 7e art version synthétique va très surement s’enrichir dans les prochaines années de techniques de création assistée par les mêmes outils que ceux qui fabriquent les deepfakes aujourd’hui. La quête du sosie numérique parfait agite le Tout-Hollywood et donne lieu à quelques superproductions encore un peu hésitantes. En 2019, Gemini Man met en scène Will Smith en prise avec son double de 20 ans son cadet. Le jeune Will Smith a des allures de Fresh Prince of Bel-Air sous stéroïdes. La ressemblance est parfois bluffante, parfois très loin de ce qu’on attend, mais sur la longueur, l’effet fait mouche.  Fini le botox, l’antiride, les cures de vitamines ou le bêta-carotène, le rajeunissement synthétique devient un art dans lequel Weta Digital, le leader Néo-Zélandais des effets spéciaux excelle. 6.

Gemini Man VFX | Weta Digital © Weta Digital

Plus récemment, Matt Stone et Trey Parker ont inauguré leur studio Deep Voodoo et réuni les plus grands noms de la création de deepfakes. La production de leur nouvelle série Sassy Justice fait appel à un double synthétique plus vrai que nature de Donald Trump. Un des créateurs du studio, Chris Umé, a également fait parler de lui sur les réseaux en créant @deepTomCruise 7, un double synthétique porté à l’écran par un certain Miles Fisher, acteur à ses heures et imitateur officiel de Tom Cruise, le vrai. Les studios Disney développent depuis quelques années, dans leur Disney Research Hub à Zurich en Suisse 8, des algorithmes capables de réaliser des faceswaps parfaits, c’est-à-dire d’interchanger le visage d’un acteur avec un autre sans autre retouche en postproduction. D’autres recherches en intelligence artificielle ou en machine learning renforcent ces travaux sur la vision par ordinateur. L’intérêt de Disney est clair, modéliser parfaitement l’humain pour en faire les meilleures attractions possibles.

High Resolution Neural Face Swapping for Visual Effects © DisneyResearchHub

Au centre de toutes ces manipulations numériques, ce sont les acteurs, les actrices qui servent de matériau aux algorithmes des GANs. Les deepfakes sont sur le point de bouleverser la profession et ses équilibres et on peine à imaginer les effets collatéraux de ces nouvelles techniques.

Robin Wright éternelle

En 2013, Robin Wright vivait ses derniers moments d’actrice dans The Congress 9. Face à un producteur hollywoodien au cynisme écœurant, l’actrice, qui incarnait son propre rôle, se voyait proposer l’impossible: vendre au studio qui l’employait jusqu’alors, la Miramount Pictures, les droits éternels sur son image scannée. Contrepartie inévitable, l’actrice humaine devait s’effacer à jamais pour que vive son double synthétique. « Nous voulons avoir cette chose qu’on appelle Robin Wright », conclue le fac-similé d’Harvey Weinstein.

The Congress Official Trailer (2014) Robin Wright, Jon Hamm HD © JoBlo Movie Trailers

Les questions que soulève la première partie du film résonnent terriblement avec notre époque et avec les enjeux qui découlent de l’arrivée des médias synthétiques dans l’industrie cinématographique. Il est désormais possible de ramener une actrice ou un acteur (ou d’ailleurs tout autre individu) à la vie 10. On peut également vieillir ou rajeunir un acteur qu’il soit vivant ou mort 11. On peut créer de toutes pièces un dialogue qui n’a jamais eu lieu 12. On peut synchroniser les mouvements des lèvres sur n’importe quelle parole, dans la langue native de l’individu ou dans une autre langue 13. Ou encore, remplacer un acteur au pied levé par un autre 14 Toutes ces actions sont d’ores et déjà possibles et bouleversent la façon dont les actrices et acteurs vont vivre leur art, leur métier.

Pour commencer, reprenons l’histoire de Robin Wright et la promesse initiale qui lui est faite dans le film. L’éternité. Une éternité factice bien sûr, seule son image sera éternelle. Mais éternité tout de même, une éternité qui peut séduire les égos tourmentés. À quoi est-on prêt pour devenir éternel, même un peu. De quel levier de négociation dispose celui qui possède la technique de l’immortalité. Être jeune pour le temps que la série de 1 et de 0 qui compose son double synthétique nous le permet, c’est certainement le rêve de beaucoup de comédiens et comédiennes. C’est aussi le rêve des producteurs de Star Wars qui ont ramené Peter Cushing à la vie pour quelques scènes dans Rogue One, ou Carrie Fisher, jeune. Les deux versions ayant été d’abord créées à l’aide d’effets spéciaux traditionnels puis améliorés par Sham00k à l’aide de ses algorithmes 15.

Ramener les personnages célèbres de notre histoire pour les inclure dans un scénario culturel ou commercial, comme Salvador Dali qui accueille les visiteurs de son Musée en Floride 16, pose quelques questions éthiques. Qui est en mesure d’accepter l’utilisation de l’image du défunt ? Qui possède le droit à l’image d’un défunt ? La gestion de l’image est une chose, mais que faire lorsqu’on lui ajoute la parole ? L’objectif du document créé peut-il soulever des exceptions (éducation, information vs exploitation commerciale ?).

Rajeunir ou vieillir un individu encore en vie pose également tout un tas de questions. Pour tracer un parallèle avec The Congress, un acteur doit tout d’abord donner son consentement à être intégralement scanné. Puis il doit décider de la conservation de ces données dans le temps, par qui ?  Comment ? Les data synthétiques 17 sont-elles transférables et à qui et sous quel régime ? Cède-t-on les droits complets sur son image ? Garde-t-on une capacité à se produire ou comme Robin Wright, un acteur sera-t-il condamné à disparaitre ?

Cette nouvelle situation pose des questions de marché également. Les acteurs célèbres pourront capitaliser sur leur renommée en cédant leur visage pour des films sur lesquels ils ne pourront physiquement pas être présents. On peut imaginer à ce stade deux cas particuliers. Dans le premier, l’acteur contrôle son double synthétique à distance, l’interprétation est la sienne, le cachet reste inchangé. Second cas de figure, un autre acteur interprète le rôle en respectant un cahier des charges à la façon d’un ghost writer, dans ce cas le cachet est moins important. Quid de l’opportunité de faire émerger de nouveaux talents ? Les opportunités seront-elles toujours aussi nombreuses ? Ne risque-t-on pas de voir apparaitre deux classes d’acteurs. Les marionnettistes, capable d’insuffler vie aux doubles synthétiques, mais privés de reconnaissance publique et les véritables stars, ces comédiens qui apparaitront partout dans une ubiquité parfaite.

La voix ensuite. Les deepfakes annoncent-ils la fin du doublage ? La capacité des algorithmes à reproduire une voix, son timbre, son flot s’améliore chaque jour davantage 18. Certains algorithmes n’ont besoin que de 5 secondes d’enregistrement pour obtenir un résultat relativement correct 19, d’autres permettent aux célébrités ou aux influenceurs d’enregistrer des publicités sans être présents 20.

La capture numérique de la voix, de l’image, des expressions, des mouvements corporels, de la démarche représente un volume de data synthétiques considérable, mais également un enjeu commercial très important. On peut imaginer sans peine des banques de données ou chaque actrice et chaque acteur seront répertoriés et classés en fonction de nouvelle typologie : doublure deepfake ou acteur IRL. Le développement de tels services, s’ils rencontrent le succès, s’étendra rapidement à l’ensemble de la population qui n’hésitera pas à débourser quelques euros pour céder les photos de son album Facebook en échange d’une doublure synthétique crédible. À qui appartiendront ces données et sous quel régime juridique ? Il s'agit d'ouvrir le débat afin que chacun puisse comprendre les enjeux qui se profilent dans un monde peuplé de médias synthétiques. 

Cet article a été publié pour la première fois sur deepfake.media

Références


1. Motion capture : une technique de capture du mouvement des acteurs par détection de traceurs dans un environnement virtuel en trois dimensions (Le virtual set) — CGI : Computer Generated Images ou effets spéciaux

2. Metahuman, un nouveau visage artificiel par UnReal, journalism. design, 4 mars 2021

3. China’s Xinhua agency unveils AI news presenter, BBC, 8 novembre 2018

4. Reuters and Synthesia unveil AI prototype for automated video reports, Reuters, 7 février 2020

5. South Korean News Channel Introduces An AI-Powered News Anchor, ubergizmo.com, 16 novembre 2020

6. Weta Digital a réalisé les effets spéciaux du Seigneur des Anneaux de Peter Jackson | Body of Work : Weta Digital on the art of face replacement, Before and After, 26 juin 2020.

7. Chris Umé : le deepfake @deeptomcruise est fait pour alerter le public, journalism. design, 5 mars 2021

8. Le site du Disney Research Studio

9. Un film que je vous recommande chaudement, The Congress, 2013, Ari Folman

10. VFX Artists React to Resurrected Actors Bad and Great CGi [Coridor Crew] | Snoop Dogg Had us Bring 2pac Back to Life! [Coridor Crew]

11. De-Aging Robert Deniro in The Irishman [Sham00k] | David Hasselhof deepfake de-aging turning back the time [Chris Umé] | De-Aging With Deepfakes (Machine Learning) [DeepCaked]

12. This AI Makes “Audio Deepfakes” [Two Minutes Paper] | RealTalk : We Recreated Joe Rogan’s Voice Using Artificial Intelligence [Dessa]

13. Flawless Ai demo [Flawless] | Google’s LipSync3D Offers Improved “Deepfaked” Mouth Movement Synchronization, Unite.AI, 9 juin 2021

14. [INÉDIT] Un “deepfake” dans Plus belle la vie !, France Télévision, 2020 |   

15. Starwars se raconte en deepfakes, journalism. design, 2020

16. Museum creates deepfake Salvador Dalí to greet visitors, Dali Museum

17. Données numériques qui composent le scan 3D de la personne | How synthetic data could save AI, Venturebeat, 20 mars 2021

18. [AI Voice] Kylo Explains… Return Of The Jedi, Speaking of AI, 2021

19. This AI Clones Your Voice After Listening for 5 Seconds, Two Minutes Papers

20. Generator for Celebrities and Influencers, Voicebot.ai

Le Club est l'espace de libre expression des abonnés de Mediapart. Ses contenus n'engagent pas la rédaction.