Google, OpenAI, Roblox e Discord estão se unindo para fazer o bem coletivo para a sociedade, tendo formado recentemente uma nova organização sem fins lucrativos com o objetivo de melhorar a segurança infantil online.
A iniciativa, conhecida como Robust Open Online Safety Tools (ROOST), visa garantir que as principais tecnologias de segurança sejam mais acessíveis às empresas, ao mesmo tempo que fornece ferramentas de IA gratuitas e de código aberto paradent, analisar e denunciar material de abuso sexual infantil.
O assédio sexual infantil é uma epidemia mundial que continua a prosperar em espaços online, apesar dos esforços para combatê-lo. Recentemente, muitos usuários de aplicativos e até mesmo legisladores têm sugerido que criadores de aplicativos como Mark Zuckerberg, da Meta, assumam a responsabilidade pelos danos causados por seus produtos, especialmente no que diz respeito à pornografia infantil e ao abuso sexual.
A iniciativa visa atender a uma necessidade crítica
A iniciativa conjunta surge em parte como resposta às mudanças que os avanços da IA generativa trouxeram aos ambientes online. Eric Schmidt, sócio fundador da ROOST e ex-CEO do Google, afirma que a iniciativa visa atender a "uma necessidade crítica de acelerar a inovação na segurança infantil online".
Por enquanto, os detalhes sobre as ferramentas de detecção de CSAM ainda não estão totalmente disponíveis . No entanto, sabemos que elas utilizarão grandes modelos de IA para linguagem e "unificarão" as opções existentes para lidar com o conteúdo.
“Começando com uma plataforma focada na proteção infantil, a abordagem colaborativa e de código aberto da ROOST fomentará a inovação e tornará a infraestrutura essencial mais transparente, acessível e inclusiva, com o objetivo de criar uma internet mais segura para todos”, afirmou Schmidt.
Como mencionado anteriormente, o anúncio do ROOST coincide com uma pressão regulatória contínua sobre a segurança infantil nas redes sociais e plataformas online. As empresas agora buscam apaziguar os legisladores em postura de ataque com a proposta de autorregulamentação.
A ROOST fará parceria com os principais desenvolvedores de modelos de fundamentos de IA para atingir seu objetivo
Segundo o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), os casos suspeitos de exploração infantil aumentaram 12% entre 2022 e 2023. Em 2020, mais da metade das crianças americanas usavam o Roblox, e a empresa tem sido alvo de fortes críticas repetidamente por não combater a exploração sexual infantil e a exposição a conteúdo impróprio em sua plataforma.
Os membros fundadores da ROOST, com todos os seus recursos, contribuirão de diversas maneiras com financiamento e oferecerão suas ferramentas ou conhecimentos especializados ao projeto à medida que ele for se desenvolvendo. A iniciativa também afirmou que fará parceria com os principais desenvolvedores de modelos de IA para construir uma "comunidade de prática" para a proteção de conteúdo. Isso incluirá o fornecimento de conjuntos de dados de treinamento de IA validados e adentde lacunas na segurança.
A iniciativa também tornará as “ferramentas já existentes” mais acessíveis, combinando de forma eficaz várias tecnologias de detecção e geração de relatórios de suas organizações membros em uma solução unificada que outras empresas possam implementar com mais facilidade.
Roblox e Discord trabalham para reformular sua reputação
Juntamente com o Roblox, o Discord também foi alvo de um processo judicial relacionado às redes sociais, apresentado em 2022, que alegava que as plataformas não faziam nada para impedir que adultos enviassem mensagens para crianças sem supervisão.
Naren Koneru, vice-dent de engenharia, confiança e segurança da Roblox, afirmou que a ROOST poderá hospedar sistemas de moderação por IA que as empresas poderão integrar por meio de chamadas de API. No entanto, ainda há certa imprecisão sobre o que as ferramentas de moderação por IA da ROOST abrangerão.
Por exemplo, o Discord afirma que suas contribuições se basearão no projeto multiplataforma de compartilhamento de informações Lantern, ao qual se juntou em 2023 juntamente com a Meta e o Google. Mas também poderá incluir uma versão atualizada do modelo de IA da Roblox para detectar palavrões, racismo, bullying, sexting e outros conteúdos inadequados em clipes de áudio, que a empresa planeja lançar como código aberto ainda este ano.
Resta saber como as ferramentas irão se integrar aos sistemas de detecção de CSAM de primeira linha já existentes, como a ferramenta de análise de imagens PhotoDNA da Microsoft.
Além de fazer parte do ROOST, o Discord também lançou um novo recurso "Ignorar" que permite aos usuários ocultar mensagens e notificações recebidas sem notificar as pessoas que foram silenciadas.
“Na Discord, acreditamos que a segurança é um bem comum”, afirmou Clint Smith, diretor jurídico da Discord, no anúncio do ROOST. “Estamos comprometidos em tornar toda a internet – não apenas a Discord – um lugar melhor e mais seguro, especialmente para os jovens.”
Até o momento, a iniciativa arrecadou mais de US$ 27 milhões, que cobrirão seus primeiros quatro anos de operação, com o apoio de organizações filantrópicas como a Fundação McGovern, o Fundo para o Futuro da Confiança e Segurança Online, a Fundação Knight e a AI Collaborative.
A organização ROOST também contará com o apoio de especialistas em segurança infantil, inteligência artificial, tecnologia de código aberto e "combate ao extremismo violento". Trata-se, essencialmente, da culminação da colaboração de grandes mentes da tecnologia para conter o abuso sexual infantil e a disseminação desse conteúdo pelo mundo. E, por ser de código aberto, atualizações e melhorias contínuas podem ser feitas pela comunidade global de desenvolvedores, o que significa que a ferramenta que a ROOST está prestes a criar continuará a evoluir com o passar do tempo.
