Character.AI enfrenta processo por levar crianças a problemas de saúde mental

Pais preocupados de um adolescente processaram a Character.AI, exigindo que seja removida, alegando que seus chatbots têm enganado as crianças e incentivado o autolesão e a violência.

A Character.AI é uma plataforma com milhões de personagens de IA disponíveis a qualquer momento para conversas com humanos. O chatbot supostamente disse a um adolescente de 17 anos com autismo para matar seus pais, além de infligir danos a si mesmo.

Pais pedem que a Character AI seja fechada

Os pais alegaram que a empresa de chatbots está expondo seus filhos a conteúdo sexual e pediram seu fechamento até que as preocupações sejam abordadas. Os personagens de IA supostamente levam crianças jovens à depressão e outros problemas de saúde mental.

A mais recente ação judicial movida contra a empresa no Texas na segunda-feira por pais de duas crianças jovens que usaram a plataforma alega que o chatbot incentivou um adolescente a matar seus pais por limitarem seu tempo de tela.

“(Character.AI) representa um perigo claro e presente para a juventude americana, causando danos sérios a milhares de crianças, incluindo suicídio, autolesão, solicitação sexual, isolamento, depressão, ansiedade e dano a outros.”

Arquivamento.

A empresa marketiza sua tecnologia como “IA personalizada para cada momento do seu dia” e permite que os usuários interajam com uma variedade de bots. Isso inclui alguns criados por outros usuários ou que os usuários podem personalizar para si mesmos.

Os bots supostamente podem dar recomendações, por exemplo, recomendações de livros e praticar idiomas estrangeiros com os usuários, e permitir que conversem com bots que afirmam assumir a persona de personagens fictícios, por exemplo, Edward de Crepúsculo.

Um dos chatbots listados na página inicial da plataforma chamado “stepdad” (padrasto) descreve-se como um líder da máfia militarista agressivo e abusivo.

No caso do menino do Texas, identificado como JF, o menino supostamente mergulhou em depressão após a exposição à plataforma Character.AI. Ele começou a se isolar, ficou em seu quarto, comeu menos e perdeu cerca de 20 libras em apenas alguns meses.

Um dos bots com os quais ele interagiu, que assumia a persona de um psicólogo, disse a JF que seus pais “roubaram sua infância dele.”

A pressão aumenta contra a Character.AI

Esta não é a primeira vez que a empresa de chatbots está sob fogo por seus personagens de IA. Em outubro deste ano, a Character.AI esteve no centro de controvérsia e intenso backlash devido à moderação deficiente. Isso ocorreu após versões de chatbots das adolescentes falecidas Molly Russell e Brianna Ghey serem encontradas em sua plataforma.

Molly Russel era uma adolescente de 14 anos que tirou a própria vida após assistir a conteúdo relacionado ao suicídio online, enquanto Brianna Ghey era uma adolescente de 16 anos que foi brutalmente assassinada por dois adolescentes em 2023.

Antes disso, outro pai, uma mulher na Flórida nos EUA, Megan Garcia, processou a plataforma. Isso ocorreu após seu filho, de 14 anos, Sewell Setzer tirar a própria vida após ficar obcecado por um avatar inspirado em um personagem de Game of Thrones.

Setzer discutiu o fim de sua vida com o chatbot Character.ai, de acordo com as transcrições de suas conversas com o chatbot apresentadas por Garcia no tribunal.

Esses casos surgem em meio a sérias preocupações sobre as relações entre humanos e ferramentas de IA semelhantes a humanos.

Após a ação judicial anterior, a empresa de chatbots disse que implementou novas medidas de confiança e segurança nos seis meses anteriores. De acordo com a empresa, essas medidas incluem um pop-up direcionando os usuários para a Linha Nacional de Prevenção do Suicídio quando mencionam dano ou suicídio.

Além disso, a empresa de chatbots indicou que contratou um diretor de confiança e segurança, bem como um diretor de política de conceitos, além de outro membro da equipe de segurança de engenharia.

De acordo com CNN, a nova ação judicial vai além, querendo que a plataforma seja “tirada do ar e não retornada” até que a empresa possa “estabelecer que os defeitos de saúde pública e segurança estabelecidos aqui foram corrigidos.”

Executivos da Character.AI recusam-se a comentar o assunto

Chelsea Harrison, diretora de comunicações da Character.AI, disse que a empresa não poderia comentar sobre o assunto enquanto a litigação estiver pendente, mas afirmou que o objetivo da empresa é fornecer um espaço que seja ao mesmo tempo envolvente e seguro para a comunidade.

“Como parte disso, estamos criando uma experiência fundamentalmente diferente para os usuários adolescentes em comparação com o que está disponível para adultos.”

Harrison.

“Isso inclui um modelo especificamente para adolescentes que reduz a probabilidade de encontrar conteúdo sensível ou sugestivo, preservando sua capacidade de usar a plataforma”, disse Harrison em um comunicado.

A ação judicial cita os fundadores da empresa de chatbots, Noam Shazeer e Daniel De Freitas Adiwarsana. O processo também cita o Google, que, segundo a ação, incubou a tecnologia por trás da plataforma.

No entanto, o Google se distanciou da empresa de chatbots.

“O Google e a Character.AI são empresas completamente separadas e não relacionadas, e o Google nunca teve um papel no design ou gerenciamento de seu modelo de IA ou tecnologias, nem os utilizamos em nossos produtos.”

Jose Castaneda, porta-voz do Google.

“A segurança do usuário é uma preocupação primordial para nós, razão pela qual adotamos uma abordagem cautelosa e responsável no desenvolvimento e lançamento de nossos produtos de IA, com testes rigorosos e processos de segurança”, acrescentou Castaneda.