Google, Openai, Roblox et Discord se sont affrontés pour faire du bien collectif pour la société, car ils ont récemment formé une nouvelle organisation à but non lucratif visant à améliorer la sécurité des enfants en ligne.
L'initiative est connue sous le nom de robuste outils de sécurité en ligne ouverts (ROOST) et travaillera pour s'assurer que les technologies de sécurité de base sont plus accessibles pour les entreprises tout en fournissant des outils d'IA open-source gratuits pour les éléments d'IA pour jedentde faire, de réviser et de signaler un matériel d'abus sexuel pour enfants.
Le harcèlement sexuel des enfants est une épidémie mondiale qui continue de prospérer dans les espaces en ligne malgré les efforts pour le limiter. Ces derniers temps, de nombreux utilisateurs d'applications et même les législateurs ont suggéré que les créateurs d'applications comme Mark Zuckerberg de Meta assument la responsabilité de la quantité de mal que font leurs produits, en particulier lorsque la pornographie juvénile et les abus sexuels sont impliqués.
L'initiative répond à un besoin critique
L'initiative conjointe se produit partiellement en réponse aux modifications apportées par des progrès générateurs d'IA dans les environnements en ligne. Founding Roost Partner et ancien PDG de Google, Eric Schmidt, dit que l'initiative veut répondre «à un besoin critique d'accélérer l'innovation dans la sécurité des enfants en ligne».
Pour l'instant, les détails sur les outils de détection CSAM ne sont pas encore entièrement disponibles . Cependant, nous savons qu'ils utiliseront des modèles d'IA à grande langue et «unifier» les options existantes pour traiter le contenu.
«En commençant par une plate-forme axée sur la protection de l'enfance, l'approche collaborative de Roost à l'ouverture favorisera l'innovation et rendra les infrastructures essentielles plus transparentes, accessibles et inclusives, dans le but de créer un Internet plus sûr pour tout le monde», a déclaré Schmidt.
Comme indiqué précédemment, l'annonce de perchoir coïncide avec une poussée réglementaire en cours concernant la sécurité des enfants sur les réseaux sociaux et les plateformes en ligne. Les entreprises cherchent désormais à apaiser les législateurs sur le chemin de guerre avec la proposition d'autorégulation.
Roost s'associera aux principaux développeurs de modèles de fondation AI pour atteindre son objectif
Selon le National Center for Missing and Exploiteted Children (NCMEC), l'exploitation présumée des enfants a augmenté de 12% entre 2022 et 2023. En 2020, plus de la moitié des enfants américains étaient sur Roblox, et la société a pris de grandes critiques pour avoir échoué à ne pas avoir été s'attaque à l'exploitation sexuelle des enfants et à l'exposition à un contenu inapproprié sur sa plate-forme.
Les membres fondateurs de Roost, avec toutes leurs ressources, fourniront divers fonds et offriront leurs outils ou leur expertise au projet lorsqu'il prend forme. L'initiative a également déclaré qu'elle s'associerait aux principaux développeurs de modèles de la Fondation AI pour construire une «communauté de pratique» pour les garanties de contenu. Cela comprendra la fourniture d'ensembles de données de formation en IA vérifiés et jedentdes lacunes en matière de sécurité.
L'initiative rendra également les «outils qui existent déjà» plus accessibles, combinant efficacement diverses technologies de détection et de rapport de ses organisations membres en une solution unifiée que d'autres sociétés peuvent mettre en œuvre plus facilement.
Roblox et Discord travaillant pour réorganiser leur réputation
Avec Roblox, Discord a également été distingué dans un procès sur les réseaux sociaux déposés en 2022 que les plateformes ont allégué à empêcher les adultes de messagerie pour envoyer des enfants sans supervision.
Naren Koneru, vice-dent de Roblox de l'ingénierie, de la confiance et de la sécurité, a déclaré que Roost peut accueillir des systèmes de modération d'IA que les entreprises peuvent intégrer via des appels API. Cependant, il y a un certain imprécision sur ce que les outils de modération de l'IA de Roost couvriront.
Par exemple, Discord affirme que ses contributions s'appuieront sur le projet de partage d'informations multiplateforme de la lanterne qu'il a rejoint en 2023 aux côtés de Meta et Google. Mais il pourrait également inclure une version mise à jour du modèle d'IA de Roblox pour détecter les blasphèmes, le racisme, l'intimidation, le sexting et d'autres contenus inappropriés dans les clips audio, que la société prévoit de publier en open source cette année.
Il reste à voir comment les outils se croisent avec les systèmes de détection CSAM de première ligne déjà existants comme l'outil d'analyse d'image Photodna de Microsoft.
En plus de faire partie de Roost, Discord a également publié une nouvelle fonctionnalité «Ignore» qui permet aux utilisateurs de masquer les messages et les notifications qu'ils reçoivent sans notifier les personnes qu'ils ont coiffées.
"Chez Discord, nous pensons que la sécurité est un bien commun", a déclaré le directeur juridique de Discord Clint Smith dans l'annonce de Roost. «Nous nous engageons à faire de l'internet entier - pas seulement à la discorde - un endroit meilleur et plus sûr, en particulier pour les jeunes.»
À l'heure actuelle, l'initiative a collecté plus de 27 millions de dollars qui représentera ses quatre premières années d'opérations, avec le soutien d'organisations philanthropiques comme la McGovern Foundation, Future of Online Trust and Safety Fund, Knight Foundation et la collaboration de l'IA.
L'organisation de perchoir recevra également le soutien d'experts en sécurité des enfants, en intelligence artificielle, en technologie open-source et en «contre-extrémisme violent». C'est essentiellement l'aboutissement des grands esprits de la technologie travaillant ensemble pour freiner les abus sexuels des enfants et comment son contenu est réparti dans le monde. Et comme il est open source, des mises à jour et des améliorations continues de la communauté mondiale des développeurs peuvent être apportées, ce qui signifie que le Roost Beast est sur le point de créer va évoluer au fil du temps.
Cryptopolitan Academy: à venir bientôt - une nouvelle façon de gagner un revenu passif avec DeFi en 2025. En savoir plus
