Roblox, Alphabet, OpenAI e Discord arrecadam US$ 27 milhões para ferramentas de segurança infantil online de código aberto

Google, OpenAI, Roblox e Discord estão se unindo para fazer algo coletivo pelo bem da sociedade, pois recentemente formaram uma nova organização sem fins lucrativos voltada para melhorar a segurança infantil online. 

A iniciativa é conhecida como Robust Open Online Safety Tools (ROOST) e trabalhará para garantir que as tecnologias de segurança básicas sejam mais acessíveis para as empresas, ao mesmo tempo em que fornece ferramentas de IA de código aberto e gratuitas para identificar, revisar e denunciar material de abuso sexual infantil.

O abuso sexual infantil é uma epidemia mundial que continua a prosperar nos espaços online, apesar dos esforços para contê-lo. Recentemente, muitos usuários de aplicativos e até legisladores têm sugerido que os criadores de aplicativos, como Mark Zuckerberg da Meta, assumam a responsabilidade pela quantidade de danos que seus produtos estão causando, especialmente onde pornografia infantil e abuso sexual estão envolvidos. 

A iniciativa atende a uma necessidade crítica 

A iniciativa conjunta está ocorrendo parcialmente em resposta às mudanças que os avanços da IA generativa trouxeram aos ambientes online. Fundadores ROOST parceiro e ex-CEO do Google, Eric Schmidt, diz que a iniciativa deseja abordar “uma necessidade crítica de acelerar a inovação na segurança infantil online.” 

Por enquanto, os detalhes sobre as ferramentas de detecção de CSAM não estão totalmente disponíveis. No entanto, sabemos que eles utilizarão modelos de IA de linguagem grande e “unificarão” as opções existentes para lidar com o conteúdo.

“Começando com uma plataforma focada na proteção infantil, a abordagem colaborativa e de código aberto do ROOST promoverá a inovação e tornará a infraestrutura essencial mais transparente, acessível e inclusiva, com o objetivo de criar uma internet mais segura para todos”, afirmou Schmidt. 

Como afirmado anteriormente, o anúncio do ROOST coincide com um impulso regulatório contínuo em relação à segurança infantil nas redes sociais e plataformas online. As empresas agora estão procurando apaziguar legisladores em guerra com a proposta de autorregulação.

O ROOST fará parceria com desenvolvedores líderes de modelos de base de IA para alcançar seu objetivo

De acordo com o Centro Nacional de Crianças Desaparecidas e Exploradas (NCMEC), a suspeita de exploração infantil aumentou 12% entre 2022 e 2023. Até 2020, mais da metade das crianças dos EUA estavam em Roblox, e a empresa tem recebido fortes críticas repetidamente por não lidar com a exploração sexual infantil e a exposição a conteúdo inadequado em sua plataforma. 

Os membros fundadores do ROOST, com todos os seus recursos, fornecerão financiamento e oferecerão suas ferramentas ou expertise ao projeto à medida que ele se desenvolve. A iniciativa também disse que fará parceria com desenvolvedores líderes de modelos de base de IA para construir uma “comunidade de prática” para salvaguardas de conteúdo. Isso incluirá fornecer conjuntos de dados de treinamento de IA validados e identificar lacunas na segurança.

A iniciativa também tornará as “ferramentas que já existem” mais acessíveis, combinando efetivamente várias tecnologias de detecção e denúncia de suas organizações membros em uma solução unificada que outras empresas podem implementar mais facilmente. 

Roblox e Discord trabalham para reformar sua reputação

Juntas com Roblox, O Discord também foi alvo em uma ação judicial nas redes sociais movida em 2022 que alegava que a plataforma não fez nada para impedir que adultos enviassem mensagens para crianças sem supervisão.

Naren Koneru, vice-presidente de engenharia, confiança e segurança da Roblox, disse que o ROOST pode hospedar sistemas de moderação de IA que as empresas podem integrar por meio de chamadas de API. No entanto, há alguma vaguidade sobre o que as ferramentas de moderação de IA do ROOST cobrirão.

Por exemplo, a Discord diz que suas contribuições se basearão no projeto de compartilhamento de informações cross-platform Lantern, ao qual se juntou em 2023 junto com Meta e Google. Mas também pode incluir uma versão atualizada do modelo de IA da Roblox para detectar palavrões, racismo, bullying, sexting e outros conteúdos inadequados em clipes de áudio, que a empresa planeja lançar como código aberto este ano. 

Resta ver como as ferramentas se cruzarão com os sistemas de detecção de CSAM de primeira linha já existentes, como a ferramenta de análise de imagens PhotoDNA da Microsoft.

Além de fazer parte do ROOST, Discord também lançou um novo recurso “Ignorar” que permite aos usuários ocultar mensagens e notificações que recebem sem notificar as pessoas que silenciaram. 

“Na Discord, acreditamos que a segurança é um bem comum”, compartilhou o Diretor Jurídico da Discord, Clint Smith, no anúncio do ROOST. “Estamos comprometidos em tornar toda a internet – não apenas a Discord – um lugar melhor e mais seguro, especialmente para os jovens.” 

Neste momento, a iniciativa arrecadou mais de US$ 27 milhões que serão destinados aos seus primeiros quatro anos de operações, com o apoio de organizações filantrópicas como a Fundação McGovern, o Fundo Future of Online Trust and Safety, a Fundação Knight e o AI Collaborative. 

A organização ROOST também terá o apoio de especialistas em segurança infantil, inteligência artificial, tecnologia de código aberto, e “combate ao extremismo violento.” É essencialmente o culminar das grandes mentes da tecnologia trabalhando juntas para conter o abuso sexual infantil e como seu conteúdo é espalhado pelo mundo. E como é de código aberto, atualizações e melhorias contínuas pela comunidade global de desenvolvedores podem ser feitas, o que significa que a besta ROOST está prestes a criar continuará a evoluir com o passar do tempo.