Meta avait une politique de tolérance de 17 incidents liés au trafic sexuel avant suspension de compte

Selon l'ancienne responsable de la sécurité et du bien-être de l'entreprise

Meta avait une politique de tolérance de 17 incidents liés au trafic sexuel avant suspension de compte,
selon l'ancienne responsable de la sécurité et du bien-être de l'entreprise

Meta est visée par une importante action collective initiée par des districts scolaires aux États-Unis. Ces plaignants soutiennent que la plateforme a failli à protéger les mineurs, tant du point de vue de la santé mentale que de la sécurité face à l’exploitation sexuelle. Un dossier récemment mis sous scellé puis partiellement rendu public met en avant des documents internes, des témoignages d’anciens dirigeants et des communications internes de la société.

Parmi les accusations, l’un des éléments les plus marquants est le témoignage selon lequel Meta aurait appliqué une règle de « 17 chances » dans les cas de comptes liés au trafic sexuel. D’après ce témoignage, émanant de l’ex-responsable de la sûreté et du bien-être chez Meta, Vaishnavi Jayakumar, un certain volume de violations — jusqu’à seize — était toléré avant que la dix-septième ne déclenche la suppression du compte

Meta aurait donné 16 chances aux comptes impliqués dans le « trafic d'êtres humains à des fins sexuelles » avant de les suspendre, selon le témoignage de l'ancienne responsable de la sécurité et du bien-être de l'entreprise, Vaishnavi Jayakumar. Ce témoignage, ainsi que plusieurs autres allégations selon lesquelles Meta ignorait les problèmes s'ils augmentaient l'engagement, ont été révélés dans un dossier judiciaire non expurgé lié à un procès sur la sécurité des enfants sur les réseaux sociaux intenté par des districts scolaires à travers les États-Unis.

« Cela signifie que vous pouviez commettre 16 infractions pour prostitution et sollicitation sexuelle, et qu'à la 17^e infraction, votre compte était suspendu », a déclaré Jayakumar lors de sa déposition. Elle a ajouté que cela « constituait un seuil très élevé » selon « toutes les normes du secteur », selon le procès. Des documents internes « confirment » également cette politique, affirment les avocats.

Le dossier non expurgé révèle d'autres accusations troublantes, notamment que Meta « ne disposait pas d'un moyen spécifique » permettant aux utilisateurs d'Instagram de signaler les contenus pédopornographiques (CSAM) sur la plateforme. Lorsque Jayakumar en a pris connaissance, elle aurait « soulevé cette question à plusieurs reprises », mais on lui aurait répondu que cela représenterait trop de travail à mettre en place et à examiner les signalements.

Bien que Meta ait récemment remporté sa bataille antitrust contre la Commission fédérale du commerce, l'entreprise fait face à une pression réglementaire et juridique croissante concernant la sécurité des enfants sur la plateforme. Le dossier non expurgé fait partie d'un procès massif intenté contre Meta, TikTok, Google et Snapchat par des dizaines de districts scolaires, de procureurs généraux et de parents, qui les accusent de contribuer à une « crise de santé mentale » en exploitant des plateformes « addictives et dangereuses ». Le PDG de Meta, Mark Zuckerberg, a déclaré l'année dernière qu'il estimait qu'il n'y avait « aucun lien de causalité » entre les réseaux sociaux et la santé mentale des adolescents.

Le dossier révèle plusieurs cas dans lesquels Meta est accusée d'avoir minimisé les inconvénients de ses plateformes afin de favoriser l'engagement. En 2019, Meta a envisagé de rendre tous les comptes d'adolescents privés par défaut afin de les empêcher de recevoir des messages indésirables ; cependant, l'entreprise aurait rejeté cette idée après que l'équipe chargée de la croissance ait estimé qu'elle « risquait de nuire à l'engagement ». Meta a commencé à mettre les adolescents sur Instagram dans des comptes privés l'année dernière.

Le procès affirme également que, bien que les chercheurs de Meta aient constaté que le fait de masquer les mentions « J'aime » sur les publications rendrait les utilisateurs « nettement moins susceptibles de se sentir mal dans leur peau », l'entreprise a renoncé à ce projet après avoir constaté qu'il avait « un impact assez négatif sur les indicateurs de performance de Facebook ». Meta est également accusée d'avoir réintroduit les filtres beauté en 2020, alors même qu'elle avait constaté qu'ils « encourageaient activement les jeunes filles à développer une dysmorphie corporelle ». La suppression des filtres aurait pu avoir « un impact négatif sur la croissance, tout simplement parce que toute restriction est susceptible de réduire l'engagement si les gens vont voir ailleurs », a déclaré Meta, selon la plainte.

« Nous sommes en total désaccord avec ces allégations, qui s'appuient sur des citations choisies de manière sélective et des opinions erronées dans le but de présenter une image délibérément trompeuse », a déclaré Andy Stone, porte-parole de Meta, dans un communiqué. « Le dossier complet montrera que depuis plus de dix ans, nous avons écouté les parents, étudié les questions les plus importantes et apporté de réels changements pour protéger les adolescents, comme l'introduction de comptes pour adolescents avec des protections intégrées et la mise à disposition des parents de contrôles pour gérer l'expérience de leurs adolescents. »


Meta attaqué en justice par 41 États US qui estiment qu'Instagram et Facebook créent une dépendance et nuisent aux enfants

En 2023, les procureurs généraux de 41 États et du district de Columbia ont poursuivi Meta. La plainte allègue que Meta utilise secrètement des fonctionnalités de conception qui exploitent et capitalisent délibérément sur les vulnérabilités uniques des jeunes utilisateurs et surmontent la capacité des jeunes à autoréguler leur temps passé sur sa plateforme. Ces fonctionnalités incluent le « défilement infini », les notifications et alertes quasi constantes, les Story et les Reel à lecture automatique, des fonctionnalités conçues pour créer un sentiment de « FOMO » (peur de rater quelque chose) et des mécanismes de « récompenses variables intermittentes » similaires à ceux utilisés par machines à sous.

Ces fonctionnalités ont été conçues et déployées dans le but d'inciter les jeunes utilisateurs à passer le plus de temps possible sur la plateforme, de les attirer à revenir lorsqu'ils tentent de s'arrêter et de submerger leur capacité à contrôler ou réguler leur propre utilisation, avec des conséquences significatives et concernant les impacts négatifs sur le développement cérébral et la santé mentale des adolescents utilisateurs.

La plainte allègue en outre que Meta savait que ces fonctionnalités avaient des impacts néfastes et négatifs sur les jeunes utilisateurs - mais au lieu de prendre des mesures pour atténuer ces dommages, elle a choisi d'induire le public en erreur, vantant la sécurité de ses plateformes pour les jeunes et affirmant qu'elle donne la priorité au bien-être des jeunes utilisateurs. De nombreux documents et communications internes montrent que Meta, y compris ses plus hauts dirigeants, étaient conscients que certaines fonctionnalités d'Instagram incitaient les jeunes utilisateurs à une utilisation addictive et habituelle de ses plateformes. Au lieu de donner la priorité au bien-être des jeunes utilisateurs – comme elle l’a publiquement affirmé – Meta a choisi à plusieurs reprises et délibérément de ne pas mettre en œuvre de mesures ni de concevoir des changements dont elle savait qu’elles pourraient réduire les méfaits et améliorer le bien-être des jeunes utilisateurs.

De plus, la plainte allègue que malgré les affirmations de Meta selon lesquelles les enfants de moins de 13 ans ne sont pas autorisés sur Instagram et n’utilisent pas la plateforme, les dossiers internes montrent qu’ils le font. Meta a permis à ces utilisateurs mineurs de rester sur sa plateforme tout en sachant que sa nature nocive avait le plus grand impact sur ses utilisateurs les plus jeunes. Des documents internes révèlent que l’entreprise savait que ses mesures visant à garder les utilisateurs de moins de 13 ans étaient inefficaces et n’étaient pas appliquées de manière significative, mais qu’elle a décidé de ne pas utiliser ou investir dans des mesures de vérification de l’âge plus efficaces, car cela affecterait la croissance et les revenus de l’entreprise.


Meta a conçu ses plateformes de manière à rendre les jeunes utilisateurs dépendants en exploitant les faiblesses connues du cerveau des enfants

Une présentation interne de Meta datant de 2020 montre que l'entreprise a cherché à concevoir ses produits de manière à tirer parti des aspects de la psychologie des jeunes qui rendent les adolescents prédisposés à l'impulsion, à la pression des pairs et à un comportement à risque potentiellement dangereux. La présentation rend compte des observations de Meta sur les conditions suscitant la sécrétion de la dopamine chez les jeunes.

Meta décrit son produit existant comme étant déjà bien adapté pour fournir le type de stimuli qui déclenchent le puissant neurotransmetteur. La présentation indique : « les adolescents sont insatiables lorsqu'il s'agit d'effets dopaminergiques. Et chaque fois qu'un de nos utilisateurs adolescents trouve quelque chose d'inattendu, son cerveau lui fournit une dose de dopamine ». Citant des notes internes, la plainte allègue en effet que les cadres de Meta qui traitent les questions liées au bien-être des jeunes avaient conscience des dangers potentiels. Ils ont reconnu que les problèmes de bien-être étaient particulièrement prononcés chez les jeunes adolescents.

La plainte cite un courriel datant de mai 2021 dans lequel Karina Newton, responsable de la politique d'Instagram, a expliqué : « ce ne sont pas les régulateurs ou les critiques qui pensent qu'Instagram est malsain pour les jeunes adolescents, mais tout le monde, des chercheurs aux experts universitaires en passant par les parents. Le modèle de l'application n'est pas conçu pour un groupe d'âge qui n'a pas les mêmes compétences cognitives et émotionnelles que les adolescents plus âgés ». Meta réfute ces allégations et un porte-parole a déclaré : « la plainte dénature notre travail en utilisant des citations sélectives et des documents triés sur le volet ».

La plainte fait écho aux affirmations de longue date selon lesquelles Meta a sciemment créé des produits addictifs et nocifs pour les enfants. Ces affirmations ont été mises en lumière par la lanceuse d'alerte américaine Frances Haugen, qui a révélé que des études internes de Meta montraient que des plateformes comme Instagram conduisaient les enfants vers des contenus liés à l'anorexie. Elle a également déclaré que l'entreprise ciblait intentionnellement les enfants de moins de 18 ans. Ancienne employée de Meta, Haugen a divulgué des dizaines de milliers de documents internes de la du géant des réseaux sociaux au Wall Street Journal en 2021.


Conséquences pour la modération numérique à grande échelle

Au-delà de Meta, cette affaire invite à un examen plus large de la modération dans les plateformes numériques. Trois dimensions méritent d’être repensées.

D’abord, la transparence des politiques internes : les utilisateurs, les régulateurs et les chercheurs devraient pouvoir savoir non seulement ce qui est interdit mais aussi comment les seuils d’application sont définis, auditables ou modifiables.

Ensuite, la place de l’humain dans les chaînes de modération : l’IA montre ses limites notamment dans des contextes de trafic humain ou d’exploitation. Le recours à des modérateurs humains spécialisés reste indispensable mais coûteux. Le modèle économique des plateformes peut dissuader d’investir à l’échelle nécessaire.

Enfin, l’alignement entre modèle économique et responsabilité sociale. Quand une plateforme dépend de métriques d’engagement, chaque friction (liaison à la modération stricte) est un risque. La question est : jusqu’à quel point les entreprises acceptent-elles de réduire l’engagement pour renforcer la sécurité ?

Conclusion : un point d’inflexion pour la gouvernance des plateformes

Ce qui semble être une politique interne spécifique à Meta pourrait devenir un élément de doctrine pour l’ensemble de l’écosystème numérique. Lorsque la modération tolère jusqu’à dix-six violations avant action, la frontière entre incapacité technique et choix stratégique se floute. Pour les professionnels de l’IT, cette affaire constitue un cas d’étude majeur : comment concilier croissance, innovation et sécurité, en gardant l’utilisateur au centre plutôt que l’algorithme.

Meta affirme avoir tourné la page de ce seuil élevé mais le débat est lancé : la modération à grande échelle n’est pas juste une question de technologie, mais de gouvernance, d’éthique et de responsabilité.

Source : dossier Meta non expurgé

Et vous ?

Comment une plateforme qui revendique l’usage d’algorithmes avancés peut-elle justifier un seuil aussi élevé de tolérance pour des infractions liées à la traite humaine ?

Si une politique interne de tolérance a permis à des trafiquants de rester actifs plus longtemps, faut-il redéfinir la responsabilité des plateformes dans les infractions commises sur leurs services ? La protection quasi absolue dont bénéficient les acteurs numériques doit-elle être révisée pour des cas d’une telle gravité ?

Le modèle publicitaire basé sur l’engagement ne crée-t-il pas un biais systémique qui pousse les plateformes à minimiser les frictions, même lorsqu’il s’agit de comportements criminels graves ? Peut-on imaginer un modèle social où la sécurité prime réellement sur le volume et l’activité ?