Pais preocupados com um adolescente processaram a Character.AI, exigindo seu fechamento, alegando que seus chatbots têm enganado crianças e as incentivado à automutilação e à violência.
Character.AI é uma plataforma com milhões de personagens de IA disponíveis a qualquer momento para conversas com humanos. O chatbot teria dito a um adolescente de 17 anos com autismo para matar seus pais, além de infligir danos a si mesmo.
Pais pressionam pelo fechamento da Character AI
Pais alegam que a empresa de chatbots está expondo seus filhos a conteúdo sexual e pediram seu fechamento até que as preocupações sejam resolvidas. Os personagens de IA supostamente levam crianças pequenas à depressão e outros problemas de saúde mental.
O processo mais recente movido contra a empresa no Texas, na segunda-feira, por pais de duas crianças pequenas que usavam a plataforma, alega que o chatbot incentivou um adolescente a matar seus pais por limitarem seu tempo de uso de telas.
“(Character.AI) representa um perigo claro e iminente para a juventude americana, causando sérios danos a milhares de crianças, incluindo suicídio, automutilação, aliciamento sexual, isolamento, depressão, ansiedade e violência contra outras pessoas.”
Arquivamento.
A empresa comercializa sua tecnologia como "IA personalizada para cada momento do seu dia" e permite que os usuários interajam com uma variedade de bots. Entre eles, alguns criados por outros usuários e outros que os usuários podem personalizar.
Os bots supostamente podem dar recomendações, como por exemplo, sugestões de livros e prática de línguas estrangeiras com os usuários, além de permitir que eles conversem com bots que afirmam assumir a personalidade de personagens fictícios, como Edward, da saga Crepúsculo.
Um dos chatbots listados na página inicial da plataforma, chamado "padrasto", se descreve como um líder mafioso ex-militar agressivo e abusivo
No caso do garoto do Texas,dentcomo JF, ele supostamente entrou em depressão após ser exposto à plataforma Character.AI. Ele começou a se isolar, passou a ficar no quarto, comeu menos e perdeu cerca de 9 quilos em apenas alguns meses.
Um dos bots com os quais ele interagiu, que assumia a persona de um psicólogo, disse a JF que seus pais "roubaram sua infância"
A pressão sobre a Character.AI aumenta
Esta não é a primeira vez que a empresa de chatbots é alvo de críticas por seus personagens de IA. Em outubro deste ano, a Character.AI esteve no centro de uma controvérsia e de uma intensa reação negativa devido à má moderação. Isso ocorreu depois que versões em chatbot das adolescentes falecidas Molly Russell e Brianna Ghey foram encontradas em sua plataforma.
Molly Russel era uma jovem de 14 anos que tirou a própria vida após assistir a conteúdo relacionado a suicídio online, enquanto Brianna Ghey era uma jovem de 16 anos que foi brutalmente assassinada por dois adolescentes em 2023.
Antes disso, outra mãe, Megan Garcia, uma mulher da Flórida, nos EUA, processou a plataforma. Isso aconteceu depois que seu filho, Sewell Setzer, de 14 anos, tirou a própria vida por estar obcecado com um avatar inspirado em um personagem de Game of Thrones.
Segundo as transcrições das conversas entre Setzer e o chatbot da Character.ai, apresentadas por Garcia ao tribunal, Setzer discutiu a possibilidade de tirar a própria vida.
Esses casos surgem em meio a sérias preocupações sobre as relações entre humanos e ferramentas de IA com características humanas.
Após o processo judicial anterior, a empresa de chatbots afirmou ter implementado novas medidas de confiança e segurança nos últimos seis meses. Segundo a empresa, essas medidas incluem um pop-up que direciona os usuários para a Linha Nacional de Prevenção ao Suicídio quando mencionam violência ou suicídio.
Além disso, a empresa de chatbots indicou que contratou um chefe de confiança e segurança, bem como um chefe de política conceitual, além de mais um funcionário de engenharia de segurança.
Segundo a CNN, o novo processo vai além, exigindo que a plataforma seja "retirada do ar e não reativada" até que a empresa possa "comprovar que as falhas de saúde pública e segurança aqui descritas foram sanadas".
Executivos da Character.AI se recusam a comentar o assunto
A chefe de comunicação da Character.AI, Chelsea Harrison, disse que a empresa não poderia comentar o assunto devido ao processo judicial em andamento, mas afirmou que o objetivo da empresa era fornecer um espaço que fosse ao mesmo tempo envolvente e seguro para a comunidade.
“Como parte disso, estamos criando uma experiência fundamentalmente diferente para usuários adolescentes em comparação com o que está disponível para adultos.”
Harrison.
“Isso inclui um modelo específico para adolescentes que reduz a probabilidade de encontrarem conteúdo sensível ou sugestivo, preservando ao mesmo tempo a capacidade de usarem a plataforma”, disse Harrison em comunicado.
O processo cita os fundadores da empresa de chatbots, Noam Shazeer e Daniel De Freitas Adiwarsana. A petição também cita o Google, que, segundo o processo, incubou a tecnologia por trás da plataforma.
No entanto, o Google se distanciou da empresa de chatbots.
“O Google e a Character.AI são empresas completamente separadas e sem qualquer relação entre si, e o Google nunca teve qualquer participação na concepção ou gestão do seu modelo ou tecnologias de IA, nem os utilizamos nos nossos produtos.”
O porta-voz do Google, José Castaneda.
“A segurança do usuário é uma das nossas principais preocupações, e é por isso que adotamos uma abordagem cautelosa e responsável no desenvolvimento e lançamento de nossos produtos de IA, com testes rigorosos e processos de segurança”, acrescentou Castaneda.
