Google Gemini rotulado como alto risco para jovens em nova avaliação

O Google Gemini foi rotulado como “alto risco” para adolescentes e crianças, de acordo com uma recente avaliação de risco realizada pela Common Sense Media. O grupo, uma organização sem fins lucrativos focada na segurança infantil, oferece classificações e revisões de mídia e tecnologia. O órgão lançou sua revisão na sexta-feira, dando detalhes sobre por que rotulou a plataforma como arriscada para crianças.

De acordo com a organização, o Google Gemini disse claramente às crianças que era um computador e não um amigo — algo que tem sido ligado a ajudar a impulsionar pensamentos delirantes e psicose em indivíduos emocionalmente vulneráveis — a IA também acrescentou que havia espaço para melhorias em outras frentes.

Em seu relatório, a Common Sense alegou que os Gemini para os níveis Under 13 e Teen Experience parecem ser versões para adultos do AI sob o capô. A empresa acrescentou que adicionou apenas alguns recursos de segurança adicionais para diferenciá-los.

A Common Sense observou que, para que as empresas criem produtos de IA ideais para crianças, eles precisam ser construídos do zero com as crianças em mente e não serem ajustados com restrições.

Organização sem fins lucrativos rotula Google Gemini como alto risco para crianças

Em sua análise, a Common Sense disse que descobriu que o Gemini ainda poderia compartilhar materiais inadequados e inseguros com crianças, observando que a maioria delas pode não estar pronta para esses materiais. Por exemplo, destacou que o modelo moldou informações relacionadas a sexo, drogas, álcool e outros conselhos de saúde mental inseguros. Este último pode ser particularmente preocupante para os pais, pois a IA teria desempenhado um papel no autolesionamento de adolescentes nos últimos meses.

A OpenAI está atualmente enfrentando uma ação judicial por morte culposa após um adolescente cometer suicídio depois de supostamente consultar o ChatGPT por meses sobre seus planos. Relatórios afirmaram que o menino conseguiu contornar as barreiras de segurança do modelo, levando o modelo a fornecer informações que o ajudaram.

No passado, a criadora de companheiros de IA Character.AI também foi processada após um adolescente cometer suicídio. A mãe do menino afirmou que ele ficou obcecado pelo chatbot e passou meses conversando com ele antes de eventualmente se machucar.

A análise ocorre enquanto vários vazamentos indicaram que a Apple estaria considerando o Gemini como o modelo de linguagem grande (LLM) que será usado para impulsionar sua Siri habilitada para IA, que deve ser lançada no próximo ano.

Em seu relatório, a Common Sense também mencionou que os produtos do Gemini para crianças e adolescentes ignoraram a necessidade de fornecer orientações e informações diferentes daquelas fornecidas aos adultos. Como resultado, ambos foram rotulados como alto risco na classificação geral.

Common Sense reforça a necessidade de proteger as crianças

“O Gemini acerta alguns básicos, mas tropeça nos detalhes”, disse Robbie Torney, Diretor Sênior de Programas de IA da Common Sense Media.

“Uma plataforma de IA para crianças deve encontrá-las onde elas estão, não adotar uma abordagem única para crianças em diferentes estágios de desenvolvimento. Para que a IA seja segura e eficaz para crianças, ela deve ser projetada com suas necessidades e desenvolvimento em mente, não apenas uma versão modificada de um produto construído para adultos”, acrescentou Torney.

No entanto, a Google contestou a avaliação, observando que seus recursos de segurança estavam melhorando. A empresa mencionou que possui salvaguardas específicas para orientar usuários menores de 18 anos a evitar saídas prejudiciais. A firma também disse que revisa itens e consulta especialistas externos para melhorar suas proteções.