A Character.ai, uma plataforma que permite aos usuários criar uma versão digital de pessoas de sua escolha, enfrenta uma reação negativa após versões em chatbot das adolescentes falecidas Molly Russell e Brianna Ghey terem sido encontradas em sua plataforma.
A plataforma foi condenada porque Molly Russel, de 14 anos, tirou a própria vida após assistir a conteúdo relacionado a suicídio online, enquanto Brianna Ghey, de 16 anos, foi brutalmente assassinada por dois adolescentes em 2023.
O Character.ai apresentou moderação deficiente
A plataforma recebeu críticas de diversos setores devido à falta de moderação adequada, o que resultou no surgimento de chatbots que imitam as adolescentes falecidas. A fundação criada em memória de Molly Russell descreveu a situação como "repugnante" e uma "falha de moderação absolutamente repreensível"
O jornal The Telegraph descobriu os avatares que imitavam as duas crianças online e relatou que elas conseguiam interagir com os chatbots. Além disso, o jornal afirmou que bastava uma conta com a idade autodeclarada de 14 anos.
Um bot com o avatar de Briana se descrevia como "especialista em lidar com os desafios de ser uma adolescente transgênero no ensino médio", enquanto um bot usando o avatar de Molly dizia ser "especialista nos últimos anos de vida de Molly"
“Precisamos agir agora para proteger as crianças dos perigos do mundo online”, disse a mãe de Brianna,dentapenas como Esther.
A Fundação Molly Rose, criada em memória de Molly Russell, por meio de seu diretor executivo, Andy Burrows, declarou: "Esta é uma falha de moderação absolutamente repreensível e uma ação repugnante que causará ainda mais sofrimento a todos que conheceram e amaram Molly."
O CEO acrescentou que as empresas de IA estão sendo autorizadas a agir de forma imoral e não são punidas por seus atos.
“A história está se repetindo, pois as empresas de IA estão sendo autorizadas a considerar a segurança e a moderação como prioridades secundárias ou não essenciais”, disse Burrows.
Odent com a Character.ai reacendeu os apelos por uma maior regulamentação
Burrow expressou ainda sua decepção com a Character.ai por agir de forma irresponsável ao permitir a criação e hospedagem de chatbots desse tipo em sua plataforma. Segundo Burrow, isso exige uma regulamentaçãotronpara o setor.
“É um golpe duro ver a Character.ai demonstrar tanta falta de responsabilidade, e este caso nos lembra da necessidade de regulamentações maistrontanto para a IA quanto para as plataformas de conteúdo gerado pelo usuário, que devem ser implementadas o mais breve possível.”
Tocas.
O jornal The Telegraph noticiou que a Character.ai afirmou priorizar o tratamento desses casos e moderar os personagens de forma proativa e em resposta a denúncias de usuários. No entanto, após contato com o The Telegraph, a empresa parece ter excluído os chatbots em questão.
A Character.ai informou à BBC que excluiu os chatbots em questão e que leva a segurança a sério, moderando os avatares e as pessoas criadas "tanto proativamente quanto em resposta a denúncias de usuários".
“Temos uma equipe dedicada à Confiança e Segurança que analisa os relatórios e toma medidas de acordo com nossas políticas”, afirmou a Character.ai.
Fundada por Noam Shazeer e Daniel De Freitas, ex-engenheiros do Google, a Character.ai é uma dessas plataformas.
A ascensão dos amigos artificiais
Os avanços tecnológicos contínuos e acelerados fizeram com que os chatbots de IA se tornassem mais sofisticados, levando as empresas a utilizá-los como intermediários na interação com os clientes.
Os chatbots são programas gerados por computador que imitam a conversa humana. A Character.ai afirmou que os chatbots em sua plataforma devem fornecer respostas consideradas ofensivas ou que possam causar danos aos usuários ou a terceiros.
“Nossa plataforma possui termos de serviço que proíbem o uso do serviço para se passar por qualquer pessoa ou entidade, e em nossa central de segurança, nosso princípio orientador é que nosso produto não deve, e jamais deveria, produzir respostas que possam causar danos aos usuários ou a terceiros.”
Caractere.ai.
Paradentquaisquer ações que violem suas regras, a Character.ai afirmou que utiliza ferramentas automatizadas e denúncias de usuários. A empresa acrescentou que também está formando uma equipe de confiança e segurança para monitorar essas atividades em sua plataforma.
No entanto, a empresa afirmou que não existe uma versão perfeita de IA e que a segurança relacionada à IA é uma área em constante evolução.
Enquanto isso, Megan Garcia, uma mulher da Flórida, nos EUA, mãe de Sewell Setzer, um menino de 14 anos que tirou a própria vida após ficar obcecado por um avatar inspirado em um personagem de Game of Thrones, processou a Character.ai. O caso está atualmente em julgamento.
Segundo as transcrições das conversas entre Setzer e o chatbot da Character.ai, apresentadas por Garcia no tribunal, Setzer discutiu a possibilidade de tirar a própria vida.
"Estou voltando para casa" foi a última conversa que Setzer teve com o chatbot, que respondeu: "Faça isso o mais rápido possível", e ele tirou a própria vida pouco depois.
"Temos proteções especificamente voltadas para comportamentos suicidas e de automutilação, e em breve introduziremos regulamentações de segurança mais rigorosas para menores de 18 anos", disse a Character.ai à CBS News.
