Google, OpenAI, Roblox et Discord s'unissent pour œuvrer collectivement au bien commun en créant récemment une nouvelle organisation à but non lucratif visant à améliorer la sécurité des enfants en ligne.
Cette initiative, connue sous le nom de ROOST (Robust Open Online Safety Tools), vise à garantir que les technologies de sécurité essentielles soient plus accessibles aux entreprises tout en fournissant des outils d'IA gratuits et open source pourdent, examiner et signaler les contenus pédopornographiques.
Le harcèlement sexuel des enfants est une épidémie mondiale qui continue de prospérer en ligne malgré les efforts déployés pour l'endiguer. Récemment, de nombreux utilisateurs d'applications et même des législateurs ont suggéré que les créateurs d'applications, comme Mark Zuckerberg de Meta, assument la responsabilité des préjudices causés par leurs produits, notamment en ce qui concerne la pornographie infantile et les abus sexuels.
Cette initiative répond à un besoin essentiel
Cette initiative conjointe fait suite, en partie, aux transformations induites par les progrès de l'intelligence artificielle générative dans les environnements en ligne. Eric Schmidt, partenaire fondateur de ROOST et ancien PDG de Google, explique que l'initiative vise à répondre à « un besoin crucial d'accélérer l'innovation en matière de sécurité des enfants en ligne ».
Pour l'instant, les détails concernant les outils de détection de contenus pédopornographiques ne sont pas encore entièrement disponibles. Cependant, nous savons qu'ils utiliseront de vastes modèles d'IA linguistique et « unifieront » les options existantes pour le traitement de ces contenus.
« En commençant par une plateforme axée sur la protection de l'enfance, l'approche collaborative et open source de ROOST favorisera l'innovation et rendra les infrastructures essentielles plus transparentes, accessibles et inclusives, dans le but de créer un internet plus sûr pour tous », a déclaré Schmidt.
Comme indiqué précédemment, l'annonce de ROOST coïncide avec une campagne de réglementation en cours concernant la sécurité des enfants sur les réseaux sociaux et les plateformes en ligne. Les entreprises cherchent désormais à apaiser les législateurs, de plus en plus vigilants, avec cette proposition d'autorégulation.
ROOST s'associera à des développeurs de modèles de fondation d'IA de premier plan pour atteindre son objectif
Selon le Centre national pour les enfants disparus et exploités (NCMEC), les cas présumés d'exploitation d'enfants ont augmenté de 12 % entre 2022 et 2023. En 2020, plus de la moitié des enfants américains utilisaient Roblox, et l'entreprise a été vivement critiquée à plusieurs reprises pour son incapacité à lutter contre l'exploitation sexuelle des enfants et l'exposition à des contenus inappropriés sur sa plateforme.
Les membres fondateurs de ROOST, mobilisant leurs ressources, contribueront financièrement et mettront à disposition leurs outils et leur expertise au fur et à mesure de son développement. L'initiative prévoit également de nouer des partenariats avec des développeurs de modèles d'IA de premier plan afin de créer une communauté de pratique dédiée à la protection des contenus. Il s'agira notamment de fournir des jeux de données d'entraînement pour l'IA, validés par la communauté, et d'dentles failles de sécurité.
Cette initiative permettra également de rendre plus accessibles les « outils existants », en combinant efficacement diverses technologies de détection et de signalement de ses organisations membres en une solution unifiée que d'autres entreprises pourront plus facilement mettre en œuvre.
Roblox et Discord travaillent à redorer leur image
Au même titre que Roblox, Discord a également été visé par une plainte déposée en 2022 concernant les réseaux sociaux, qui alléguait que les plateformes n'avaient rien fait pour empêcher les adultes d'envoyer des messages aux enfants sans surveillance.
Naren Koneru, vice-président de Roblox endent de l'ingénierie, de la confiance et de la sécurité, a déclaré que ROOST pourrait héberger des systèmes de modération par IA que les entreprises pourraient intégrer via des API. Cependant, le champ d'application de ces outils de modération reste encore flou.
Par exemple, Discord indique que sa contribution s'appuiera sur Lantern, le projet de partage d'informations multiplateforme auquel il a adhéré en 2023 aux côtés de Meta et Google. Elle pourrait également inclure une version mise à jour du modèle d'IA de Roblox permettant de détecter les propos vulgaires, racistes, le harcèlement, le sexting et autres contenus inappropriés dans les extraits audio, que l'entreprise prévoit de publier en open source cette année.
Il reste à voir comment ces outils s'articuleront avec les systèmes de détection CSAM de première ligne déjà existants, tels que l'outil d'analyse d'images PhotoDNA de Microsoft.
En plus de faire partie de ROOST, Discord a également lancé une nouvelle fonctionnalité « Ignorer » qui permet aux utilisateurs de masquer les messages et les notifications qu'ils reçoivent sans avertir les personnes qu'ils ont mises en sourdine.
« Chez Discord, nous pensons que la sécurité est un bien commun », a déclaré Clint Smith, directeur juridique de Discord, lors de l'annonce de ROOST. « Nous nous engageons à faire d'Internet tout entier – et pas seulement de Discord – un endroit meilleur et plus sûr, en particulier pour les jeunes. »
À ce jour, l'initiative a levé plus de 27 millions de dollars qui couvriront ses quatre premières années d'activité, grâce au soutien d'organisations philanthropiques telles que la Fondation McGovern, le Fonds pour l'avenir de la confiance et de la sécurité en ligne, la Fondation Knight et l'AI Collaborative.
L'organisation ROOST bénéficiera également du soutien d'experts en protection de l'enfance, intelligence artificielle, technologies libres et lutte contre l'extrémisme violent. Elle représente l'aboutissement d'une collaboration entre les plus grands spécialistes du secteur technologique, unis pour endiguer la pédopornographie et la diffusion de contenus pédopornographiques à travers le monde. Grâce à son caractère open source, la communauté mondiale de développeurs pourra apporter des mises à jour et des améliorations continues, garantissant ainsi l'évolution constante du projet ROOST.
