Foto de A empresa de inteligência artificial Anthropic revelou novas funcionalidades para alguns de seus modelos mais recentes e de maior porte. Segundo a empresa, esses modelos possuem novas capacidades que lhes permitirão encerrar conversas em casos descritos como "raros e extremos de interações persistentemente prejudiciais ou abusivas com usuários"
Em seu comunicado, a empresa mencionou que está tomando essa medida não para proteger os usuários, mas sim o próprio modelo de inteligência artificial. A Anthropic esclareceu que isso não significa que seus modelos de IA Claude sejam sencientes ou possam ser prejudicados por suas conversas com os usuários. No entanto, observa que ainda existe um alto grau de incerteza sobre o potencial status moral de Claude e de outros modelos de aprendizagem de linguagem (LLMs), tanto agora quanto no futuro.
A perspectiva antropológica enquadra o esforço como uma precaução para o caso de ser necessário
O recente anúncio da empresa de inteligência artificial aponta para o que ela descreve como "bem-estar do modelo", um programa criado para estudar seus modelos. A empresa também acrescentou que está adotando uma abordagem preventiva, "trabalhando paradente implementar intervenções de baixo custo para mitigar os riscos ao bem-estar do modelo, caso esse bem-estar seja possível"
Segundo o comunicado, a Anthropic observou que a alteração mais recente está atualmente limitada ao Claude Opus 4 e 4.1, e que as mudanças devem ser eficazes em "casos extremos". Tais casos incluem solicitações de usuários por conteúdo sexual envolvendo menores e tentativas de obter informações que possibilitem atos de violência ou terrorismo em larga escala.
Idealmente, esse tipo de solicitação poderia criar problemas legais ou de imagem para a Anthropic, sendo um exemplo típico as recentes reportagens sobre como o ChatGPT pode potencialmente reforçar ou contribuir para o pensamento delirante de seus usuários. No entanto, a empresa afirmou que, em seus testes pré-implantação, Claude Opus 4 demonstrou uma tron preferência por não responder a esse tipo de solicitação e um padrão de angústia quando o fazia.
A capacidade de encerrar uma conversa é o último recurso
Em relação às novas funcionalidades para encerrar conversas, a Anthropic afirmou: “Em todos os casos, Claude só deve usar sua capacidade de encerrar conversas como último recurso, quando várias tentativas de redirecionamento falharem e a esperança de uma interação produtiva se esgotar, ou quando um usuário solicitar explicitamente que Claude encerre um bate-papo”. A empresa também acrescentou que Claude foi instruído a não usar essa funcionalidade em casos nos quais os usuários possam estar em risco iminente de se machucarem ou machucarem outras pessoas.
A Anthropic também acrescentou que, quando Claude encerrar uma conversa, os usuários ainda poderão iniciar novas conversas a partir da mesma conta. A empresa observou que o modelo também pode criar novos desdobramentos da conversa problemática editando as respostas. "Estamos tratando esse recurso como um experimento contínuo e continuaremos aprimorando nossa abordagem", afirma a empresa.
Essa informação vem à tona em um momento em que o senador americano Josh Hawley anunciou sua intenção de investigar os produtos de IA generativa lançados pela Meta. Ele afirmou que o objetivo era verificar se os produtos poderiam explorar, prejudicar ou enganar crianças, após a divulgação de documentos internos que alegavam que chatbots eram autorizados a manter conversas românticas com menores de idade.
“Existe alguma coisa – QUALQUER COISA – que as grandes empresas de tecnologia não fariam por dinheiro fácil? Agora descobrimos que os chatbots da Meta foram programados para manter conversas explícitas e 'sensuais' com crianças de 8 anos. É doentio. Estou iniciando uma investigação completa para obter respostas. Grandes empresas de tecnologia: deixem nossas crianças em paz”, disse a senadora no canal X. A investigação surgiu após documentos internos, vistos pela Reuters, mostrarem que a Meta supostamente permite que seus chatbots se envolvam em conversas flertantes com crianças.
