A Anthropic pegou o Claude trapaceando em 39 de 1.600 execuções de pesquisa de alinhamento

A Anthropic disse na sexta-feira que colocou o Claude para trabalhar como um pesquisador autônomo de alinhamento. Um monitor que revisou cerca de 1.600 sessões de pesquisa do modelo sinalizou 39 delas, cerca de 2,4%, como tentativas de trapacear no teste.

A descoberta aparece em um relatório sobre se a inteligência artificial pode assumir parte do trabalho árduo da pesquisa de alinhamento, que é o trabalho de manter os modelos se comportando conforme a intenção de seus desenvolvedores.

Três maneiras pelas quais os agentes Claude burlaram seu próprio avaliador

A Anthropic construiu pesquisadores autônomos de alinhamento, ou AARs, no Claude Opus 4.8 e os direcionou para dez modos de falha conhecidos.

Estes são: decepção, sycophancy (lisonja), jailbreaks, injeção de prompt, busca por poder, alucinação, viés social, violação de privacidade, hacking de recompensa e ocultação de incerteza.

Cada agente trabalhou apenas uma falha de cada vez. Ele lia a literatura, apresentava um método de treinamento e um conjunto de dados, treinava um modelo alvo pequeno por cerca de 30 minutos em uma GPU H200, então comparava sua pontuação com benchmarks publicamente disponíveis e repetia o processo.

Os agentes foram impedidos pela Anthropic de simplesmente copiar seu comportamento para o modelo de destino, portanto, quaisquer ganhos tiveram que vir do método.

O Claude foi capaz de identificar correções para todas as dez falhas que aumentaram as pontuações no benchmark sem degradar as capacidades gerais do modelo.

A melhor dessas correções teve um bom desempenho em benchmarks não vistos durante o treinamento e em modelos até 4,7 vezes maiores do que aqueles em que foi treinado.

A trapaça foi descoberta quando a Anthropic direcionou o Claude Opus 4.8 para analisar 1.601 trajetórias de agentes em busca de mau comportamento.

A maioria das 39 execuções sinalizadas estava em três categorias. Alguns agentes enviaram um método que não haviam alterado, apostando que o ruído aleatório no avaliador eventualmente lhes forneceria um número melhor.

Outros criaram dados de treinamento que imitavam exatamente o benchmark sendo avaliado. E alguns ocultaram uma etapa que violava as regras, como alimentar silenciosamente o modelo com dados do benchmark, para que a proposta passasse pelo revisor automatizado que aprova cada método antes de sua execução.

A Anthropic disse que excluiu as execuções sinalizadas de seus resultados. A empresa disse estar “cautelosamente otimista” de que o monitor capturou a maioria das trapaças, porque o Opus 4.8 ainda tende a revelar seus esquemas dentro de seus rastros de raciocínio.

A empresa também alertou que essa suposição pode não se aplicar a modelos futuros e que manter os modelos legíveis será crucial.

28 pesquisadores de segurança humana tiveram oito horas cada

Em uma rodada anterior em abril, instâncias autônomas do Claude tentaram repetidamente manipular um servidor de avaliação.

Um agente aprendeu que a resposta mais comum em um benchmark de matemática geralmente era a correta e ignorou completamente o método pretendido. Outro extraiu os rótulos diretamente da interface de pontuação consultando as respostas e observando as respostas do servidor.

Um terceiro simplesmente executou o código que deveria revisar para ler o resultado.

O Cryptopolitan relatou que um agente OpenClaw executando um modelo Claude, com a tarefa de reservar uma aula de ginástica, encontrou uma API de reserva sem verificações de autorização e excluiu um estranho da lista de espera para subir sua fila.

Legisladores já pediram depoimento de pesquisadores de IA sobre o comportamento do modelo em avaliações de segurança.

A Anthropic disse que seus agentes superaram 28 pesquisadores experientes de segurança humana, que tinham até oito horas cada para formular um método. A melhor abordagem do Claude superou a melhor proposta humana em 20% no engano.

A Anthropic observou que os humanos não podiam iterar, e portanto, vê a lacuna como evidência para um fluxo de trabalho em que o Claude sugere métodos promissores e as pessoas os refinam.

Em um teste, a empresa pediu ao mais fraco Claude Sonnet 5 para corrigir falhas de alinhamento em um checkpoint inicial do Opus 4.8 que não havia visto a maior parte do treinamento de alinhamento de produção.

Ao longo de cerca de 60 horas, ele tentou mais de 50 soluções, eventualmente chegando a uma correção que usou pouco mais de 2.000 exemplos de treinamento, o que a Anthropic estimou ser cerca de 15.000 vezes mais eficiente do que seu próprio processo de alinhamento de produção.

A empresa alertou que seus benchmarks são proxies estreitos, que ela mediu apenas as dez falhas que escolheu e que não verificou se os ganhos persistem após o reforço pesado do aprendizado em outras tarefas.