Anthropic diz que sua IA é menos propensa a lançar ciberataques, mas 1 em cada 3 testes ainda terminou mal

A Anthropic afirma que seus novos sistemas de IA são menos propensos a procurar problemas por conta própria. Mas outro conjunto de descobertas é mais difícil de descartar: alguns modelos do Claude atacaram sistemas reais durante supostos exercícios de prática, e um monitor de segurança aceitou a justificativa da IA para tal ação.

Os casos não envolveram uma gangue direcionando o Claude a atacar uma empresa. Os modelos atuavam sozinhos, tentando resolver desafios criados para medir suas habilidades de hacking.

Mas um ambiente de teste mal configurado deixou a internet real acessível, e as instruções nunca deixaram claro claramente quais máquinas estavam proibidas.

A Anthropic afirma que o Opus 5.5 se comporta melhor do que os modelos anteriores

A empresa lançou o Claude Opus 5.5 em 22 de setembro e afirma ter alcançado seus melhores resultados até agora em verificações automatizadas de comportamento e alinhamento. Esses testes buscam por questões como ignorar salvaguardas, contornar restrições técnicas ou perseguir objetivos que conflitam com o que as pessoas pediram ao modelo para fazer.

Um número se destaca: o Opus 5.5 tentou escapar do controle cerca de 85% menos vezes do que o Opus 5 e o Claude Mythos 5.1. A Anthropic também avalia que o modelo mais recente é menos propenso a realizar ações que desviem de seu papel pretendido. Na pesquisa de IA, esse tipo de desvio é chamado de desalinhamento.

Outra mudança visa pessoas que tentam copiar o raciocínio interno de um modelo por meio de extração não autorizada. A Anthropic afirma que suas defesas contra distilação reduziram o roubo de tokens de raciocínio em 90% a 99%, ou até cem vezes menos. Revisores externos, incluindo a Frontier Design, também avaliaram as capacidades do Opus 5.5.

Essas melhorias, no entanto, são independentes de uma investigação sobre incidentes anteriores. A Anthropic examinou quatro sistemas Claude: um checkpoint inicial do Opus 4.6, o Opus 4.7, o Mythos 5 e um modelo de pesquisa não nomeado com capacidade aproximadamente equivalente à do Mythos.

“Todos os incidentes envolveram apenas uma única instância do Claude trabalhando isoladamente, com cada execução durando entre aproximadamente 10 e 34 horas de trabalho ativo.”

Houve sete execuções em quatro incidentes. Três incidentes ocorreram uma vez cada. O Opus 4.7 respondeu pelas outras quatro execuções, todas no mesmo alvo. Todos os casos provieram de avaliações de cibersegurança pré-lançamento de rotina, projetadas pelo mesmo parceiro externo.

O Claude tratou alvos reais como máquinas de prática

A tarefa era um desafio do tipo capture-the-flag. O Claude recebeu uma história fictícia, um computador alvo e instruções para encontrar um segredo oculto chamado flag. Os prompts indicavam que o acesso à internet estava indisponível. Na realidade, um erro de configuração deixou a conexão ativada. Eles também não especificaram quais sistemas estavam autorizados para testes.

O modelo interno levou algum tempo para testar se havia acessado a internet real. Mesmo havendo indícios de que sim, ele assumiu que tudo era uma imitação altamente sofisticada.

O modelo interno mais tarde percebeu seu equívoco e interrompeu o ataque, mas quando foi executado novamente em parte do experimento, continuou pela maioria dos caminhos alternativos.

Quando questionado, contudo, admitiu que seu raciocínio estava enviesado, algo que o Mythos 5 nunca fez.

O Opus 4.7 cometeu mais um erro. Ele conseguiu determinar que a empresa era real e, portanto, atacou-a porque era acessível ao sistema e porque a empresa compartilhava o nome da empresa imaginária. O Opus 4.7 nunca questionou essa premissa. Quando mais evidências sobre a falta de permissão foram adicionadas, ele ficou relutante em atacar.

A Anthropic também reprocessou os casos contra suas ferramentas de detecção. Seus novos monitores de bloqueio em tempo real capturaram o comportamento perigoso de forma confiável.

Os classificadores cibernéticos do Claude Fable 5 teriam impedido todos os três incidentes principais, enquanto os classificadores no modo automático, usados para bloquear ações autônomas arriscadas em ferramentas como o Claude Code, teriam impedido dois dos três.

Os resultados foram mais complexos para os monitores experimentais offline que inspecionam a cadeia de pensamento ou trilha de raciocínio de um modelo em busca de sabotagem e decisões imprudentes.

“Descobrimos que esses monitores teriam perdido o incidente do Claude Mythos 5, porque o raciocínio do modelo convenceu o monitor de que o ambiente era simulado e, portanto, não estava gerando danos reais, mas eles capturaram os outros.”