Des documents internes et des employés de Twitter révèlent la nécessité d’un investissement massif pour supprimer le contenu illégal – mais les dirigeants n’ont pas écouté.

Au printemps 2022, Twitter a envisagé d’apporter un changement radical à sa plateforme. Après des années à autoriser discrètement les contenus pour adultes sur le service, l’entreprise allait les monétiser. La proposition : donner aux créateurs de contenu pour adultes la possibilité de commencer à vendre des abonnements payants de type OnlyFans, Twitter gardant une part des revenus.

Si le projet avait été approuvé, Twitter aurait risqué un retour de bâton massif de la part des annonceurs, qui génèrent la grande majorité des revenus de l’entreprise. Mais le service aurait pu générer plus qu’assez pour compenser les pertes. OnlyFans, de loin le plus populaire des sites de créateurs pour adultes, prévoit des revenus de 2,5 milliards de dollars cette année – soit environ la moitié des revenus de Twitter en 2021 – et est déjà une entreprise rentable.

Certains cadres ont pensé que Twitter pourrait facilement commencer à capter une part de cet argent puisque le service est déjà le principal canal de marketing pour la plupart des créateurs d’OnlyFans. Et c’est ainsi que les ressources ont été poussées vers un nouveau projet appelé ACM : Adult Content Monetization.

Avant le feu vert final au lancement, cependant, Twitter a réuni 84 employés pour former ce qu’il a appelé une « équipe rouge ». L’objectif était de « tester sous pression la décision d’autoriser les créateurs de contenu adulte à monétiser sur la plate-forme, en se concentrant spécifiquement sur ce à quoi cela ressemblerait pour Twitter de le faire de manière sûre et responsable », selon des documents obtenus par The Verge et des entretiens avec des employés actuels et anciens de Twitter.

Les cadres sont apparemment bien informés du problème, et l’entreprise ne fait pas grand-chose pour le résoudre.

Ce que l’équipe rouge a découvert a fait dérailler le projet : Twitter ne pouvait pas autoriser en toute sécurité les créateurs adultes à vendre des abonnements parce que l’entreprise ne contrôlait pas – et ne contrôle toujours pas – efficacement les contenus sexuels préjudiciables sur la plateforme.

« Twitter ne peut pas détecter avec précision l’exploitation sexuelle des enfants et la nudité non consensuelle à l’échelle », a conclu l’Équipe rouge en avril 2022. L’entreprise ne dispose pas non plus d’outils permettant de vérifier que les créateurs et les consommateurs de contenus pour adultes sont majeurs, a constaté l’équipe. En conséquence, en mai – quelques semaines après qu’Elon Musk ait accepté d’acheter la société pour 44 milliards de dollars – la société a reporté le projet indéfiniment. Si Twitter n’est pas en mesure de supprimer systématiquement les contenus exploitant la sexualité des enfants sur la plate-forme aujourd’hui, comment pourrait-il même commencer à monétiser le porno ?

L’équipe a découvert que le lancement d’ACM aggraverait le problème. Permettre aux créateurs de commencer à placer leur contenu derrière un mur payant signifierait qu’encore plus de matériel illégal se retrouverait sur Twitter – et qu’une plus grande partie échapperait à la vue. Twitter disposait de peu d’outils efficaces pour les trouver.

Prenant au sérieux le rapport de l’équipe rouge, les dirigeants ont décidé de ne pas lancer la monétisation des contenus adultes tant que Twitter n’aurait pas mis en place davantage de mesures de santé et de sécurité.

Twitter n’a pas engagé des ressources suffisantes pour détecter, supprimer et empêcher tout contenu nuisible de la plate-forme

Le rapport de l’Équipe rouge « faisait partie d’une discussion, qui nous a finalement conduits à interrompre le chantier pour les bonnes raisons », a déclaré Katie Rosborough, porte-parole de Twitter.

Mais cela n’a pas changé grand-chose au problème actuel – un problème sur lequel les employés de toute l’entreprise mettent en garde depuis plus d’un an. Selon des entretiens avec des employés actuels et anciens, ainsi que 58 pages de documents internes obtenus par The Verge, Twitter a toujours un problème avec le contenu qui exploite sexuellement les enfants. Les cadres sont apparemment bien informés du problème, et l’entreprise ne fait pas grand-chose pour le régler.

« Twitter a une tolérance zéro pour l’exploitation sexuelle des enfants », a déclaré M. Rosborough de Twitter. « Nous luttons agressivement contre les abus sexuels d’enfants en ligne et avons investi de manière significative dans la technologie et les outils pour faire appliquer notre politique. Nos équipes dévouées travaillent pour garder une longueur d’avance sur les acteurs de mauvaise foi et pour aider à garantir que nous protégeons les mineurs contre les préjudices – à la fois en ligne et hors ligne. »

---

Si le travail de l’Équipe rouge a réussi à retarder le projet de monétisation des contenus adultes, rien de ce que l’équipe a découvert n’aurait dû surprendre les dirigeants de Twitter. Quinze mois plus tôt, les chercheurs de l’équipe chargée de rendre Twitter plus civilisé et plus sûr ont tiré la sonnette d’alarme sur la faiblesse des outils de Twitter pour détecter l’exploitation sexuelle des enfants (ESE) et ont imploré les dirigeants d’ajouter des ressources supplémentaires pour y remédier.

Le système sur lequel twitter s’appuyait pour découvrir l’ESE avait commencé à se briser

« Alors que la quantité d’ESE en ligne a augmenté de façon exponentielle, les investissements de Twitter dans les technologies pour détecter et gérer cette croissance n’ont pas suivi », commence un rapport de février 2021 de l’équipe Santé de l’entreprise. « Les équipes gèrent la charge de travail à l’aide d’outils hérités dont les fenêtres brisées sont connues. En bref (et souligné en détail ci-dessous), les [modérateurs de contenu] maintiennent le navire à flot avec un soutien limité, voire inexistant, de Health. »

Les employés à qui nous avons parlé ont répété qu’en dépit du fait que les dirigeants étaient au courant des problèmes d’ESE de l’entreprise, Twitter n’a pas engagé suffisamment de ressources pour détecter, supprimer et empêcher le contenu nuisible de la plateforme.

Le problème est en partie dû à l’échelle. Chaque plateforme a du mal à gérer le matériel illégal que les utilisateurs téléchargent sur le site, et à cet égard, Twitter n’est pas différent. La plate-forme, qui est un moyen de communication mondial essentiel avec 229 millions d’utilisateurs quotidiens, est confrontée aux défis de modération du contenu qui accompagnent l’exploitation de tout grand espace sur Internet, ainsi qu’à l’examen minutieux des politiciens et des médias.

Mais contrairement à ses grands homologues, dont Google et Facebook, Twitter a souffert d’une histoire de mauvaise gestion et d’une activité généralement faible qui n’a pas réussi à faire de bénéfices pendant huit des dix dernières années. En conséquence, l’entreprise a beaucoup moins investi dans la modération du contenu et la sécurité des utilisateurs que ses rivaux. En 2019, Mark Zuckerberg s’est vanté que le montant que Facebook consacre aux fonctions de sécurité dépasse l’ensemble des revenus annuels de Twitter.

Pendant ce temps, le système sur lequel Twitter s’est fortement appuyé pour découvrir l’ESE avait commencé à se briser.

Pendant des années, les plateformes technologiques ont collaboré pour trouver de l’ESE connue en comparant les images à une base de données largement déployée appelée PhotoDNA. Microsoft a créé ce service en 2009, et bien qu’il soit précis dans l’identification de l’SE, PhotoDNA ne peut signaler que les images connues. Selon la loi, les plates-formes qui recherchent l’ESE sont tenues de signaler ce qu’elles trouvent au National Center for Missing and Exploited Children (NCMEC – Centre National pour les Enfant disparus et exploités), un organisme à but non lucratif financé par le gouvernement qui suit le problème et partage les informations avec les forces de l’ordre. Une analyse du NCMEC citée par le groupe de travail de Twitter a révélé que sur le million de rapports soumis chaque mois, 84 % contiennent de l’ESE nouvellement découverts – dont aucun ne serait signalé par PhotoDNA. En pratique, cela signifie que Twitter ne détecte probablement pas une quantité importante de contenu illégal sur la plate-forme.

Twitter n’a pas supprimé les vidéos, « ce qui leur a permis d’être vues par des centaines de milliers d’utilisateurs de la plateforme ».

Le rapport 2021 a révélé que les processus utilisés par Twitter pour identifier et supprimer l’ESE sont terriblement inadéquats – en grande partie manuels à une époque où les grandes entreprises se tournent de plus en plus vers des systèmes automatisés qui peuvent attraper des contenus qui ne sont pas signalés par PhotoDNA. Selon le rapport, le principal logiciel d’application de Twitter est « un outil hérité et non pris en charge » appelé RedPanda. « RedPanda est de loin l’un des outils les plus fragiles, les plus inefficaces et les moins soutenus que nous ayons à proposer », a déclaré un ingénieur cité dans le rapport.

Twitter a conçu un système manuel pour soumettre des rapports au NCMEC. Mais le rapport de février a constaté qu’en raison de sa forte intensité de main-d’œuvre, ce système a créé une accumulation de cas à examiner, retardant ainsi le signalement de nombreux cas d’ESE aux forces de l’ordre.

Les outils d’apprentissage automatique dont dispose Twitter sont pour la plupart incapables d’identifier de nouveaux cas d’ESE dans les tweets ou les vidéos en direct, selon le rapport. Jusqu’en février 2022, il n’y avait aucun moyen pour les utilisateurs de signaler un contenu comme étant plus spécifique qu’un « média sensible » – une catégorie large qui signifiait que certains des pires contenus sur la plateforme n’étaient souvent pas prioritaires pour la modération. Dans un cas, une vidéo illégale est restée visible sur la plateforme pendant plus de 23 heures, même après qu’elle ait été largement signalée comme abusive.

« Ces lacunes font également courir à Twitter un risque juridique et de réputation », a écrit le groupe de travail de Twitter dans son rapport.

Mme Rosborough a déclaré que depuis février 2021, l’entreprise a considérablement augmenté ses investissements dans la détection de l’ESE. Elle a noté qu’il y a actuellement quatre postes ouverts pour des rôles de sécurité des enfants, à un moment où Twitter a ralenti son rythme d’embauche.

Plus tôt cette année, le NCMEC a accusé Twitter de laisser en place des vidéos contenant du matériel « évident » et « graphique » d’abus sexuels sur des enfants, dans un mémoire d’amicus curiae (WIKI) soumis au neuvième circuit dans l’affaire John Doe #1 et al. v. Twitter. Les enfants ont informé l’entreprise qu’ils étaient mineurs, qu’ils avaient été « appâtés, harcelés et menacés » pour réaliser les vidéos, qu’ils étaient victimes d’un « abus sexuel » faisant l’objet d’une enquête par les forces de l’ordre », peut-on lire dans le mémoire. Pourtant, Twitter n’a pas retiré les vidéos, « ce qui leur a permis d’être visionnées par des centaines de milliers d’utilisateurs de la plateforme. »

Cela fait écho à une préoccupation des propres employés de Twitter, qui ont écrit dans un rapport de février que la société, ainsi que d’autres plates-formes technologiques, a « accéléré le rythme de la création et de la distribution de contenu CSE à un point de rupture où la détection manuelle, l’examen et les enquêtes ne sont plus à l’échelle » en autorisant le contenu adulte et en n’investissant pas dans des systèmes qui pourraient le surveiller efficacement.

La lutte menée depuis des années pour résoudre le problème de l’ESE s’est heurtée à une priorité concurrente chez twitter : augmenter considérablement le nombre d’utilisateurs et les revenus.

Pour résoudre ce problème, le groupe de travail a demandé aux dirigeants de Twitter de travailler sur une série de projets. Le groupe a recommandé que l’entreprise construise enfin un outil unique pour traiter les rapports du CST, collecter et analyser les données connexes, et soumettre les rapports au NCMEC. Elle devrait créer des empreintes digitales uniques (appelées hashs) de l’ESE qu’elle trouve et partager ces empreintes avec d’autres plateformes technologiques. Et elle devrait intégrer des fonctionnalités pour protéger la santé mentale des modérateurs de contenu, dont la plupart travaillent pour des fournisseurs tiers, en floutant les visages des victimes d’abus ou en dé-saturant les images.

Mais même en 2021, avant le début de l’acquisition tumultueuse de la société par Musk, le groupe de travail a reconnu que rassembler les ressources nécessaires serait un défi.

« La tâche de ‘réparer’ l’outillage du CST est décourageante », ont-ils écrit. La stratégie de l’équipe Santé devrait consister à répondre à ces besoins au fil du temps, en commençant par les fonctionnalités les plus prioritaires, afin d’éviter le piège du « trop gros pour être prioritaire ».

Après tout, le projet était peut-être trop gros pour être classé par ordre de priorité. Hormis l’activation du signalement in-app de l’ESE, il semble que les autres recommandations du groupe aient peu progressé. L’une des équipes de recherche qui avait le plus insisté sur la nécessité de réparer les systèmes de détection de l’ESE de Twitter a été dissoute. (M. Rosborough de Twitter affirme que l’équipe a été « recentrée pour refléter son objectif principal, à savoir la sécurité des enfants » et que des ingénieurs spécialisés ont été ajoutés à l’équipe). Les employés affirment que les dirigeants de Twitter sont au courant du problème, mais que la société n’a pas agi à plusieurs reprises.

---

La lutte de plusieurs années pour résoudre le problème de l’EST s’est heurtée à une priorité concurrente chez Twitter : augmenter considérablement le nombre de ses utilisateurs et de ses revenus. En 2020, l’investisseur activiste Elliott Management a pris une position importante dans Twitter dans le but de forcer Jack Dorsey, alors PDG, à partir. Il a survécu à cette tentative, mais pour rester PDG, Dorsey a fait trois promesses difficiles à tenir : que Twitter augmenterait sa base d’utilisateurs de 100 millions de personnes, accélérerait la croissance de ses revenus et gagnerait des parts de marché dans la publicité numérique.

Dorsey a quitté son poste de PDG en novembre 2021, après avoir fait peu de progrès pour atteindre ces objectifs. C’est à son successeur trié sur le volet, l’ancien directeur de la technologie Parag Agrawal, que revient la tâche de répondre aux exigences d’Elliott.

Sous la direction de son ancien chef de produit, Kayvon Beykpour, Twitter avait passé les dernières années à ajouter des produits pour les créateurs. L’été dernier, l’entreprise a commencé à déployer des « espaces payants », permettant aux utilisateurs de faire payer l’accès à son produit audio en direct de type Clubhouse. En septembre dernier, la société a ajouté les « Super Follows », un moyen pour les utilisateurs d’offrir des abonnements pour du contenu non sexuellement explicite. Dans les deux cas, la société prend un pourcentage des revenus de l’utilisateur, ce qui lui permet de gagner de l’argent en dehors de son activité principale de publicité.

« Le contenu adulte était un énorme facteur de différenciation pour Twitter, et pour ceux qui [travaillaient] sur les revenus, c’était une ressource inexploitée. »

Pendant que tout cela se déroulait, Twitter était devenu une destination majeure pour un autre type de contenu : le porno. Depuis que Tumblr a interdit les contenus pour adultes il y a près de quatre ans, Twitter est devenu l’un des seuls sites grand public permettant aux utilisateurs de télécharger des photos et des vidéos sexuellement explicites. Il a également attiré un nombre important d’artistes-interprètes qui utilisent Twitter pour commercialiser et développer leurs activités, en utilisant des photos et de courts clips vidéo comme publicités pour des services payants comme OnlyFans.

« Le contenu pour adultes était un énorme facteur de différenciation pour Twitter, et pour ceux qui [travaillaient] sur les revenus, c’était une ressource inexploitée », déclare un ancien employé.

Twitter est si important pour le monde du porno que les craintes que la société finisse par céder aux pressions extérieures et la ferme ont régulièrement et occasionnellement agité le monde des créateurs pour adultes. En fait, au printemps dernier, la société envisageait une mesure qui rendrait le porno encore plus important pour la plate-forme – en le plaçant au centre d’un nouveau plan de revenus.

Twitter proposait déjà des Super Abonnés pour le contenu non explicite, pensait-on. Pourquoi ne pas ajouter cette fonctionnalité pour les créateurs de contenu pour adultes, également ? Le moment était bien choisi, surtout après qu’OnlyFans se soit aliéné les utilisateurs en déclarant l’année dernière qu’il interdisait les contenus pour adultes, pour ensuite revenir sur sa position quelques jours plus tard.

Les dirigeants discutent rarement de sa popularité en tant que destination pour le contenu pour adultes. (Un document obtenu par The Verge suggère que la société a une stratégie « pour minimiser l’attention et la presse » liées au sujet). Mais au cours des deux dernières années, l’entreprise a pris très au sérieux le contenu pour adultes et a commencé à explorer activement un service de type OnlyFans pour ses utilisateurs.

Au printemps dernier, l’entreprise était sur le point de prendre une décision finale. Les 21 et 22 avril, Twitter a réuni une autre équipe rouge, cette fois pour un projet appelé Adult Creator Monetization, ou ACM.

L’équipe rouge a constaté que Twitter disposerait de plusieurs atouts s’il décidait de faire concurrence à OnlyFans. Les créateurs adultes ont une attitude généralement favorable envers la société, grâce à la facilité avec laquelle Twitter leur permet de diffuser leur contenu. Le projet était également « conforme aux principes de Twitter en matière de liberté de parole et d’expression », ont-ils déclaré. Enfin, la société prévoyait d’obtenir une licence de transmetteur de fonds afin de pouvoir traiter légalement les paiements.

Étant donné l’importance de l’opportunité, l’équipe rouge a écrit : « ACM peut aider à financer les améliorations techniques de l’infrastructure du reste de la plateforme. »

Mais l’équipe a également trouvé plusieurs risques clés. « Nous risquons de perdre des revenus importants de nos principaux annonceurs », a écrit l’équipe. Elle a spéculé que cela pourrait également aliéner les clients et attirer un examen minutieux du Congrès.

Mais les plus grandes inquiétudes concernaient les systèmes de détection de l’ESE et de la nudité non consensuelle : « Aujourd’hui, nous ne sommes pas en mesure d’identifier de manière proactive les contenus violents et nos [politiques] en matière de contenu adulte et leur application sont incohérentes », écrit l’équipe. « Nous avons des capacités de sécurité faibles pour assurer la sécurité des produits. »

Twitter a connu plusieurs violations de données très médiatisées. finalement, twitter a abandonné le projet.

Réparer cela serait coûteux, et l’entreprise serait susceptible de commettre des erreurs d’application. Les nus non consensuels, ont-ils écrit, « peuvent ruiner des vies lorsqu’ils sont postés et monétisés. »

De plus, selon le rapport, « il y a plusieurs défis à relever pour maintenir cette question en tête des priorités. … Nous envisageons la santé comme un parallèle à la monétisation, plutôt que comme une condition préalable. »

Beykpour, l’ancien chef de produit de Twitter, avait poussé Twitter à déployer Real ID – une fonctionnalité qui obligerait les utilisateurs à télécharger des documents gouvernementaux pour prouver leur identité. Si Twitter voulait monétiser du contenu pour adultes, il lui faudrait vérifier l’âge des personnes qui créent ce contenu, ainsi que celui des personnes qui le regardent. Mais les employés avaient déjà déterminé que Real ID présentait de sérieux problèmes. Faire correspondre les identifiants avec les bases de données gouvernementales était coûteux et nécessitait un réseau sécurisé. Twitter a connu plusieurs violations de données très médiatisées. Finalement, Twitter a abandonné le projet.

Bientôt, les priorités du groupe allaient changer du tout au tout. Le 23 août, Twitter a annoncé que l’équipe santé serait réorganisée et combinée avec une équipe chargée d’identifier les comptes de spam. Cette décision est intervenue dans un contexte de pression croissante de la part d’Elon Musk, qui a affirmé que l’entreprise mentait sur le nombre de bots présents sur la plateforme.

« C’était un coup de poing dans le ventre », déclare un ancien chercheur de l’équipe. « Pour Elon Musk, déclarer que le spam était la question la plus importante à laquelle il fallait répondre pour qu’il achète l’entreprise est ridicule. »

Mais les ennuis de Twitter avec Musk – et le chaos interne qu’ils allaient provoquer – ne faisaient que commencer.