J'ai aidé à construire la machine de censure de ByteDance

“Je n'en étais pas fier, et mes collègues non plus. Mais c'est la vie aujourd’hui en Chine”.

Article original publié en anglais le 18 février 2021 par Shen Lu sur le site de Protocol. Pour accéder à la version originale :https://www.protocol.com/china/i-built-bytedance-censorship-machine?utm_campaign=post-teaser&utm_content=s9sue0s7

Une vue de l'extérieur du siège de ByteDance à Pékin. | Emmanuel Wong / Contributeur via Getty Images Une vue de l'extérieur du siège de ByteDance à Pékin. | Emmanuel Wong / Contributeur via Getty Images

Ce qui suit est l'histoire de Li An, un ancien employé sous pseudonyme de ByteDance, racontée à Shen Lu de Protocol.

C'est la nuit où le Dr Li Wenliang a lutté pour son dernier souffle dans la salle d'urgence de l'hôpital central de Wuhan. Comme beaucoup d'internautes chinois, je suis resté éveillé pour rafraîchir constamment mon flux d’actualités Weibo afin d'obtenir des mises à jour sur son état. Le Dr. Li était un ophtalmologiste qui a tiré la sonnette d'alarme au début de l'épidémie de COVID-19. Il a rapidement fait face à l'intimidation du gouvernement et a ensuite contracté le virus. Lorsqu'il est décédé aux petites heures du vendredi 7 février 2020, j'étais parmi les nombreux internautes chinois qui ont exprimé leur tristesse et leur indignation face aux événements sur Weibo, pour ensuite voir mon compte se faire supprimer.

J'ai ressenti plus de culpabilité que de colère. À l'époque, je travaillais comme technicien chez ByteDance, où j'ai aidé à développer des outils et des plates-formes pour la modération de contenu. En d'autres termes, j'avais aidé à construire le système qui censurait les comptes comme le mien. J'aidais à m'enterrer moi-même dans la ‘cyber-tombe’ de la Chine, qui s’étend sans cesse.

Je n'avais pas reçu de directives explicites concernant Li Wenliang, mais Weibo n'était certainement pas la seule entreprise technologique chinoise à supprimer sans relâche des postes et des comptes cette nuit-là. Je savais que l'armée de modérateurs de contenu de ByteDance utilisait les outils et les algorithmes que j'avais contribué à développer pour supprimer du contenu, modifier le récit et altérer les souvenirs des souffrances et des traumatismes infligés aux Chinois lors de l'épidémie de COVID-19. Je ne pouvais pas m'empêcher de me sentir chaque jour comme un petit rouage dans une vaste machine malveillante.

ByteDance est l'une des plus grandes startups « licornes » de Chine. Elle est à l’origine de l'application de partage de vidéos TikTok, de sa version originale chinoise Douyin et de l'agrégateur de nouvelles Toutiao. L'année dernière, lorsque ByteDance était au centre de la controverse américaine sur le partage de données avec Pékin, elle a coupé l'accès de ses ingénieurs nationaux aux produits étrangers, dont TikTok. TikTok prévoit de lancer deux ‘centres de transparence’ physiques à Los Angeles et à Washington pour présenter leurs pratiques de modération de contenu. Mais en Chine, la modération de contenu est pour l’essentiel maintenue dans l'ombre.

Je faisais partie d'une équipe technologique centrale qui soutient l'équipe de ‘confiance et de sécurité’, qui fait partie du département des données de base de ByteDance. Le département des données se consacre principalement au développement de technologies pour les plateformes de vidéos courtes. Dès le début de l'année 2020, les technologies que nous avions créées soutenaient la modération de contenu pour l’ensemble de ByteDance en Chine et à l'étranger, y compris pour Douyin chez nous et son équivalent international, TikTok. Une cinquantaine de personnes travaillaient dans l'équipe produit et entre 100 et 150 ingénieurs informatiques dans l'équipe technique. De plus, ByteDance employait environ 20 000 modérateurs de contenu pour surveiller le contenu en Chine. Ils travaillaient dans ce que l'on appelle en interne des « bases » (基地) à Tianjin, Chengdu (dans le Sichuan), Jinan (dans le Shandong) et dans d'autres villes. Certains étaient des employés de ByteDance, d'autres des sous-traitants.

Mon travail consistait à utiliser les techniques informatiques pour rendre plus efficace le travail des modérateurs de contenu du premier échelon. Par exemple, nous avions créé un outil qui leur permettait de mettre un clip vidéo dans notre base de données et de lancer une recherche pour des contenus similaires.

Quand je travaillais chez ByteDance, nous avions reçu de multiples demandes des « bases » pour développer un algorithme qui pourrait automatiquement détecter quand un utilisateur de Douyin parlait ouïghour en direct, puis couper la session. Les modérateurs avaient demandé cela parce qu'ils ne comprenaient pas la langue. Les streamers parlant des langues ethniques et des dialectes que les mandarinophones ne comprennent pas recevraient un avertissement pour passer au mandarin. S'ils ne s'exécutaient pas, les modérateurs réagiraient en coupant manuellement leurs vidéos en direct, quel que soit le contenu réel. Mais en ce qui concerne l'ouïghour, avec un algorithme qui fait cela automatiquement, les modérateurs n'auraient pas eu à être responsables d’assurer l'absence de contenus que les autorités pourraient considérer comme étant à l'origine du « séparatisme » ou du « terrorisme ». Nous avons finalement décidé de ne pas le faire : Nous n'avions pas assez de données sur la langue ouïghoure dans notre système, et les salons de diffusion les plus populaires étaient déjà étroitement surveillés.

En réalité, le discours politique ne représentait qu'une fraction infime du contenu supprimé. Les internautes chinois pratiquent couramment l'autocensure et savent ce qu'il ne faut pas dire. Les plateformes de ByteDance - Douyin, Toutiao, Xigua et Huoshan - sont pour la plupart des applications de divertissement. Nous censurions principalement des contenus que le gouvernement chinois considère comme moralement dangereux - pornographie, conversations obscènes, nudité, images graphiques et jurons - ainsi que les ventes en streaming live non autorisées, et les contenus qui violaient les droits d'auteur.

Mais le discours politique reste ce qu’il y a de plus visible. Ce que les plateformes chinoises de contenu généré par les utilisateurs craignent le plus, c'est de ne pas pouvoir supprimer les contenus politiquement sensibles, car cela peut coûter à l’entreprise d'être ensuite soumise à un contrôle gouvernemental sévère. C'est une question de vie ou de mort. Parfois, le système de modération de contenu de ByteDance s'arrêtait pendant quelques minutes. C'était très angoissant car nous ne savions pas quel genre de désastre politique pouvait se produire dans cette fenêtre. En tant que jeune « licorne », ByteDance n'a pas de relations fortes avec le gouvernement comme le font les autres géants de la technologie, donc elle marche sur une corde raide à chaque seconde.

L'équipe dont je faisais partie, les responsables de la politique de modération de contenu, plus l'armée d'environ 20 000 modérateurs de contenu, ont contribué à protéger ByteDance de répercussions politiques majeures et à obtenir un succès commercial. Les puissants algorithmes de ByteDance peuvent non seulement faire des prédictions précises et recommander des contenus aux utilisateurs - ce qui est l'une des choses pour lesquelles la société est le plus connu dans le reste du monde - mais peuvent également aider les modérateurs de contenus à exercer une censure rapide. Peu d'entreprises technologiques en Chine disposent d'autant de ressources consacrées à la modération de contenu. Les autres plateformes de contenu généré par les utilisateurs en Chine n'ont rien de comparable avec ByteDance.

Beaucoup de mes collègues se sentaient mal à l'aise par rapport à ce que nous faisions. Certains d'entre eux avaient étudié le journalisme à l'université. D'autres étaient diplômés des meilleures universités. Ils étaient bien formés et de tendance libérale. Nous parlions ouvertement de temps en temps de la façon dont notre travail contribuait à la censure. Mais nous avions tous le sentiment qu'il n'y avait rien à faire.

Une faible lueur d'idéalisme brûlait encore, bien sûr. Peut-être était-ce naïf de ma part - j'avais pensé que si j'essayais un peu plus fort, peut-être pourrais-je « lever le tonneau du canon d'un pouce », comme on dit en chinois : pour laisser passer un peu plus de discours. Finalement, j'ai appris à quel point mon influence était limitée.

En ce qui concerne la censure quotidienne, l'Administration chinoise du cyberespace émettait fréquemment des directives au Centre de qualité du contenu de ByteDance (内容质量中心), qui supervise le fonctionnement de la modération interne de l'entreprise : parfois plus de 100 directives par jour. Elle chargeait ensuite différentes équipes d'appliquer les instructions spécifiques à la fois aux discours en cours et aux contenus passés, qui devaient être recherchés pour déterminer s'ils étaient autorisés à être conservés.

Pendant les émissions en direct, chaque clip audio était automatiquement transcrit en texte, ce qui permettait aux algorithmes de le comparer avec une longue liste constamment mise à jour de mots, dates et noms sensibles, ainsi qu'avec des modèles de traitement du langage naturel. Les algorithmes analysaient ensuite si le contenu était suffisamment risqué pour nécessiter une surveillance individuelle.

Si un utilisateur mentionnait un terme sensible, un modérateur de contenu recevrait le clip vidéo original et la transcription montrant où le terme apparaît. Si le modérateur jugeait le discours sensible ou inapproprié, il interrompait la session de diffusion en direct en cours et pouvait même suspendre ou supprimer le compte. À l'occasion de fêtes politiquement sensibles, comme le 1er octobre (fête nationale chinoise), le 1er juillet (anniversaire du Parti communiste chinois) ou des anniversaires politiques majeurs comme l'anniversaire des manifestations de 1989 et de la répression sur la place Tienanmen, le Centre de qualité des contenus générerait des listes spéciales de termes sensibles que les modérateurs de contenus pourraient utiliser. Les influenceurs bénéficiaient d'un traitement spécial - des modérateurs de contenu étaient spécialement chargés de surveiller les chaînes de certains influenceurs au cas où leur contenu ou leurs comptes seraient supprimés par erreur. Certains influenceurs extrêmement populaires, les médias d'État et les agences gouvernementales figuraient sur une liste blanche générée par ByteDance, libre de toute censure - leur conformité était présumée.

Les collègues de mon équipe n'étaient pas en contact direct avec les modérateurs de contenu ou les régulateurs d'Internet. Le Centre de qualité du contenu élaborait des directives de modération et travaillait directement avec les responsables de la base sur la mise en œuvre. Après des événements majeurs ou des anniversaires sensibles, les collègues du côté opérationnel faisaient un compte rendu à tout le monde sur ce qui fonctionnait et ce qui devait être amélioré. Nous étions présents à ces réunions pour voir ce que nous pouvions faire pour mieux soutenir l'opération de censure.

Notre rôle était de veiller à ce que les modérateurs de contenus de faible niveau puissent trouver des « contenus nocifs et dangereux » dès que possible, ce qui revenait à pêcher des épingles dans l’océan. Nous étions également chargés d'améliorer l'efficacité de la censure. C'est-à-dire, d'utiliser le moins de personnes possible pour détecter autant de contenus que possible qui violaient les directives de la communauté ByteDance. Je ne me souviens d'aucun revers politique majeur de la part du gouvernement chinois pendant mon séjour à ByteDance, ce qui signifie que nous faisions bien notre travail.

Ce n'était certainement pas un travail dont je parlais avec fierté à mes amis et à ma famille. Lorsqu'ils me demandaient ce que je faisais à ByteDance, je leur disais généralement que je supprimais des messages (删帖). Certains de mes amis disaient : « Maintenant, je sais qui a fait disparaître mon compte ». Les outils que j'ai contribué à créer peuvent également aider à combattre des dangers comme les fake news. Mais en Chine, une des fonctions principales de ces technologies est de censurer la parole et d'effacer la mémoire collective des événements majeurs, même si cette fonction n'est que rarement utilisée.

Le Dr Li a mis en garde ses collègues et amis contre un virus inconnu qui empiétait sur les hôpitaux de Wuhan. Il a été puni pour ça. Et pendant des semaines, nous n'avons pas eu la moindre idée de ce qui se passait réellement, car les autorités ont dissimulé la gravité de la crise. À peu près à la même date l'année dernière, de nombreuses entreprises technologiques chinoises supprimaient activement des messages, des vidéos, des journaux intimes et des photos qui ne faisaient pas partie de la « mémoire collective correcte » que les gouvernements chinois approuveraient plus tard. Imaginez : si une quelconque plateforme de médias sociaux avait pu rejeter les directives du gouvernement en matière de censure et conserver les avertissements du Dr Li et d'autres dénonciateurs, peut-être des millions de vies auraient été sauvées aujourd'hui.



Shen Lu

Shen Lu est journaliste au sein de Protocol | Chine. Elle a passé six ans à couvrir la Chine à l'intérieur et à l'extérieur de ses frontières. Auparavant, elle a été membre du ChinaFile de l'Asia Society et productrice à Pékin pour CNN. Ses écrits ont été publiés dans Foreign Policy, le New York Times et POLITICO, entre autres. Shen Lu est une membre fondatrice de Chinese Storytellers, une communauté qui soutient et promeut les professionnels chinois dans l'industrie mondiale des médias.

Le Club est l'espace de libre expression des abonnés de Mediapart. Ses contenus n'engagent pas la rédaction.