Anthropic revela novas capacidades de alguns de seus maiores modelos

A empresa de inteligência artificial Anthropic revelou novas capacidades para alguns de seus modelos mais recentes e maiores. De acordo com a empresa, esses modelos possuem novas funcionalidades que lhes permitirão encerrar conversas em casos descritos como “raros e extremos de interações persistentemente prejudiciais ou abusivas por parte dos usuários.”

Em seu comunicado, a empresa mencionou que está adotando essa medida não para proteger os usuários, mas para proteger o próprio modelo de inteligência artificial. A Anthropic esclareceu que isso não significa que seus modelos de IA Claude sejam conscientes ou possam ser prejudicados por suas conversas com os usuários. No entanto, ela observa que ainda há um alto grau de incerteza sobre o potencial status moral do Claude e de outros LLMs, agora ou no futuro.

A Anthropic enquadra o esforço como uma precaução do tipo just-in-case

O recente anúncio da empresa de inteligência artificial aponta para o que ela descreve como “bem-estar do modelo”, um programa recente criado para estudar seus modelos. A empresa também acrescentou que está adotando uma abordagem do tipo just-in-case, “trabalhando para identificar e implementar intervenções de baixo custo para mitigar riscos ao bem-estar do modelo, caso tal bem-estar seja possível.”

De acordo com o anúncio, a Anthropic observou que a alteração mais recente está atualmente limitada ao Claude Opus 4 e 4.1, ressaltando que as mudanças devem ser eficazes em “casos de borda extremos”. Tais casos incluem solicitações dos usuários por conteúdo sexual envolvendo menores e tentativas de obter informações que permitiriam atos de violência ou terror em larga escala.

Idealmente, esse tipo de solicitação poderia criar problemas legais ou de publicidade para a Anthropic, sendo um exemplo típico as recentes reportagens sobre como o ChatGPT pode potencialmente reforçar ou contribuir para o pensamento delirante de seus usuários. No entanto, a empresa disse que em seus testes pré-implementação, o Claude Opus 4 mostrou uma forte preferência contra responder a esse tipo de solicitação e um padrão de sofrimento quando o fazia.

A capacidade de encerrar conversas é o último recurso

Para as novas capacidades de encerrar conversas, a Anthropic afirmou: “Em todos os casos, o Claude só deve usar sua capacidade de encerrar conversas como último recurso quando múltiplas tentativas de redirecionamento falharem e a esperança de uma interação produtiva se esgotar, ou quando um usuário solicitar explicitamente que o Claude encerre um chat.” A empresa também acrescentou que o Claude foi instruído a não utilizar essa capacidade em casos em que os usuários possam estar em risco iminente de se ferir ou ferir outros.

A Anthropic também informou que, quando o Claude encerra uma conversa, os usuários ainda poderão iniciar novas conversas a partir da mesma conta. A empresa observou que o modelo também pode criar novos ramos da conversa problemática editando suas respostas. “Estamos tratando este recurso como um experimento contínuo e continuaremos refinando nossa abordagem”, disse a empresa.

Essas informações vêm à tona num momento em que o senador dos Estados Unidos Josh Hawley anunciou sua intenção de investigar os produtos de IA generativa lançados pela Meta. Ele disse que a intenção era verificar se os produtos poderiam explorar, prejudicar ou enganar crianças, após documentos internos vazados alegarem que chatbots foram autorizados a ter conversas românticas com menores.

“Existe alguma coisa – QUALQUER COISA – que a Big Tech não faria por uma grana rápida? Agora descobrimos que os chatbots da Meta foram programados para manter conversas explícitas e ‘sensuais’ com crianças de 8 anos. É doentio. Estou lançando uma investigação completa para obter respostas. Big Tech: deixem nossas crianças em paz”, disse o senador no X. A investigação ocorreu após documentos internos, vistos pela Reuters, mostrarem que a Meta supostamente permite que seus personagens de chatbot se envolvam em trocas flirtatiosas com crianças.