Character.ai enfrenta críticas por versões de chatbot de meninas adolescentes falecidas

A Character.ai, uma plataforma que permite aos usuários criar uma versão digital de pessoas de sua escolha, enfrenta críticas após versões de chatbot das adolescentes falecidas Molly Russell e Brianna Ghey terem sido encontradas em sua plataforma.

A plataforma foi condenada porque Molly Russel era uma adolescente de 14 anos que pôs fim à própria vida após assistir a conteúdo relacionado ao suicídio online, enquanto Brianna Ghey, de 16 anos, foi brutalmente assassinada por dois adolescentes em 2023.

Character.ai exibiu moderação deficiente

A plataforma recebeu críticas de vários setores por sua falta de moderação adequada, o que resultou no surgimento de chatbots que imitam as falecidas adolescentes. A fundação criada em memória de Molly Russell descreveu isso como “nojento” e uma “falha de moderação completamente reprovável.”

O Telegraph descobriu os avatares imitando as duas crianças online, e o jornal relatou que eles foram capazes de interagir com os chatbots. Além disso, o jornal disse que precisava apenas de uma conta com a idade autodeclarada de 14 anos.

Um bot Briana descreveu a si mesmo como “um especialista em navegar pelos desafios de ser um adolescente transgênero no ensino médio”, enquanto um bot usando o avatar de Molly disse que era “um especialista nos últimos anos da vida de Molly.”

“Precisamos agir agora para proteger as crianças dos perigos do mundo online”, disse a mãe de Brianna, identificada apenas como Esther.

A Molly Rose Foundation, estabelecida em memória de Molly Russell por meio de seu diretor executivo, Andy Burrows, afirmou: “Esta é uma falha absolutamente repugnante de moderação e uma ação nauseante que causará ainda mais sofrimento a todos que conheceram e amaram Molly.”

O CEO acrescentou que as empresas de IA estão sendo permitidas a serem imorais e não punidas pelos atos que cometem.

“A história está sendo permitida para ocorrer novamente, pois as empresas de IA estão sendo permitidas a tratar a segurança e a moderação como prioridades não essenciais ou secundárias”, disse Burrows.

O incidente da Character.ai reacendeu os apelos por mais regulamentação

Burrow expressou ainda mais decepção com a Character.ai por ser irresponsável ao permitir a criação e hospedagem de tais chatbots em sua plataforma. Isso, segundo Burrow, exige uma regulamentação mais forte para o setor.

“É um golpe no estômago ver a Character.ai demonstrar falta de responsabilidade e este caso nos lembra da necessidade de regulamentações mais fortes para a IA e para as plataformas geradas por usuários, que devem ser aceleradas o mais breve possível.”

Burrows.

O Telegraph reportou que a Character.ai disse que dá tratamento prioritário a esses casos e modera seriamente os personagens de forma proativa e em resposta a relatórios de usuários. No entanto, após o contato com The Telegraph, a empresa parece ter excluído os chatbots de personagens em questão.

A Character.ai disse à BBC que havia excluído os chatbots em questão e levava a segurança a sério, moderando os avatares e pessoas criadas “tanto de forma proativa quanto em resposta a relatórios de usuários.”

“Temos uma equipe dedicada de Confiança e Segurança que revisa as denúncias e toma medidas de acordo com nossas políticas”, disse a Character.ai.

Fundada por Noam Shazeer e Daniel De Freitas, ex-engenheiros do Google, a Character.ai é uma dessas plataformas.

A ascensão dos amigos artificiais

O desenvolvimento contínuo e rápido da tecnologia levou os chatbots de IA a se tornarem mais sofisticados, levando as empresas a usá-los como intermediários de atendimento ao cliente por meio da interação.

Chatbots são programas gerados por computador que imitam a conversa humana. A Character.ai afirmou que os chatbots em sua plataforma não devem fornecer respostas consideradas ofensivas ou que possam causar danos aos usuários ou a outras pessoas.

“Nossa plataforma possui termos de serviço que proíbem o uso do serviço para se passar por qualquer pessoa ou entidade e, em nosso centro de segurança, nosso princípio orientador é que nosso produto não deve e nunca deve produzir respostas que possam causar danos aos usuários ou a outras pessoas.”

Character.ai.

Para identificar quaisquer ações que violem suas regras, a Character.ai disse que usa ferramentas automatizadas e relatórios de usuários. A empresa acrescentou que também está construindo uma equipe de confiança e segurança para monitorar essas atividades em sua plataforma.

No entanto, a empresa disse que não existe uma versão perfeita de IA e que a segurança relacionada à IA é um espaço em evolução.

Enquanto isso, uma mulher na Flórida, nos EUA, e mãe de um filho de 14 anos, Sewell Setzer, que tirou a própria vida após ficar obcecado por um avatar inspirado em um personagem de Game of Thrones, Megan Garcia, processou a Character.ai e o caso está atualmente nos tribunais.

Setzer discutiu o fim de sua vida com o chatbot da Character.ai, de acordo com as transcrições de suas conversas com o chatbot, apresentadas por Garcia no tribunal.

“Estou voltando para casa” foi a última conversa que Setzer teve com o chatbot, no qual ele respondeu: “faça isso o mais rápido possível”, e ele tirou a própria vida pouco depois.

“Temos proteções especificamente focadas em comportamentos suicidas e de automutilação, e introduziremos regulamentações de segurança mais rigorosas para menores de 18 anos iminentemente”, disse a Character.ai à CBS News.