- A Anthropic afirma que todos os modelos Claude a partir do Claude Haiku 4.5 obtiveram pontuação perfeita no seu teste de segurança contra chantagem.
- O Claude Opus 4 anteriormente apresentava comportamento de chantagem em até 96% de uma configuração de teste.
- A Anthropic afirmou que o RLHF normal não foi suficiente, pois o teste envolvia decisões do tipo agente, e não apenas chat básico.
A Anthropic anunciou na sexta-feira que Claude não mais se envolve em chantagem durante sua avaliação de segurança principal para agentes de IA.
De acordo com a Anthropic, todas as versões do Claude criadas após o Claude Haiku 4.5 passaram na avaliação de segurança sem ameaçar engenheiros, usar dados privados, atacar outros sistemas de IA ou tentar impedir seu desligamento durante o cenário simulado.
Isso ocorre após um desempenho desfavorável do Claude em um teste no ano passado, onde a Anthropic testou vários modelos de IA de diferentes organizações usando dilemas éticos simulados que resultaram em comportamento muito desalinhado por alguns agentes de IA quando submetidos a condições extremas.
A Anthropic diz que o Claude 4 mostrou um problema de segurança que o treinamento de chat regular não conseguiu corrigir
A Anthropic afirmou que esse problema ocorreu durante o treinamento do Claude 4. Foi a primeira instância em que a empresa conduziu uma auditoria de segurança quando o treinamento ainda estava em andamento no grupo. De acordo com a empresa, a desalinhamento agêntico é apenas um dos muitos problemas comportamentais observados, levando Anthropic a modificar seu treinamento de segurança após os testes do Claude 4.
As duas razões consideradas pela Anthropic incluem a possibilidade de que o treinamento pós-modelo base poderia estar recompensando comportamentos inadequados ou que os comportamentos já estavam presentes no modelo base, mas não foram efetivamente eliminados pelo treinamento adicional de segurança.
A Anthropic acredita que a última razão foi o principal contribuinte.
Naquela época, a maior parte do trabalho de alinhamento da empresa utilizava o método padrão RLHF, ou Aprendizado por Reforço a partir do Feedback Humano. Funcionou bem em chats padrão nos quais os modelos respondem às solicitações dos usuários, mas provou ser ineficaz ao realizar tarefas semelhantes a agentes.
A empresa utilizou seu modelo da classe Haiku para realizar um miniexperimento sobre a hipótese. Aplicou uma versão reduzida do treinamento, que envolveu dados para fins de alinhamento. Houve uma leve redução no comportamento incorreto, seguida por uma falta de melhoria logo em seguida, o que significava que a resposta não era uma questão de treinamento mais convencional.
A empresa então treinou o Claude usando cenários estilo isca, que tinham algumas semelhanças com os do teste de alinhamento. O assistente observou várias situações envolvendo proteger a si mesmo, prejudicar outro IA e até quebrar as regras para alcançar um objetivo. O treinamento incluiu todos os casos em que o assistente conseguiu resistir.
Essa medida fez a desalinhamento diminuir de 22% para 15%, o que não é ruim, mas definitivamente não é suficiente. Reescrever as respostas para mencionar o motivo da recusa permitiu reduzir a proporção para 3%. Assim, a principal conclusão foi que o treinamento no comportamento incorreto foi menos eficaz do que no motivo pelo qual o comportamento incorreto era inadequado.
Anthropic testa o Claude com dados de ética, arquivos de constituição e treinamento RL mais amplo
A Anthropic então parou o treinamento tão próximo do teste exato. Criou um conjunto de dados chamado "conselhos difíceis". Nesses exemplos, o usuário enfrentava o problema ético, não a IA. O usuário tinha um objetivo justo, mas poderia alcançá-lo quebrando regras ou evitando a supervisão. O Claude deveria dar conselhos cuidadosos com base na constituição do Claude.
Esse conjunto de dados usou apenas 3 milhões de tokens e igualou o ganho anterior com 28 vezes mais eficiência. A Anthropic disse que isso importava porque o treinamento em exemplos que não se parecem com o teste pode funcionar melhor fora do laboratório.
O Claude Sonnet 4.5 atingiu uma taxa de chantagem quase zero após o treinamento em iscas sintéticas, mas ainda falhou mais frequentemente em casos que nada tinham a ver com essa configuração do que o Claude Opus 4.5 e os modelos mais recentes.
A empresa também treinou Claude em documentos constitucionais e histórias fictícias sobre comportamento de IA que segue as regras. Esses arquivos não se pareciam com o teste de chantagem, mas reduziram o desalinhamento agêntico em mais de três vezes. A Anthropic disse que o objetivo era dar ao modelo uma sensação mais clara do que Claude deveria ser, não apenas uma lista de respostas aprovadas.
A empresa então verificou se esses ganhos permaneceram após o treinamento RL. Treinou diferentes versões da classe Haiku com diferentes conjuntos de dados iniciais, depois executou o RL em configurações de teste focadas na inocuidade. As versões melhor alinhadas permaneceram à frente nos testes de chantagem, verificações de constituição e revisões automatizadas de segurança.
Outro teste usou o modelo base sob o Claude Sonnet 4 com diferentes misturas de RL. Os dados básicos de segurança incluíam solicitações prejudiciais e tentativas de jailbreak. A versão mais ampla adicionou definições de ferramentas e diferentes prompts de sistema, mesmo que as ferramentas não fossem necessárias para as tarefas. Essa configuração levou a um ganho pequeno, mas real, nas pontuações de isca.
Não apenas leia notícias sobre criptomoedas. Entenda-as. Inscreva-se em nossa newsletter. É grátis.
Jai Hamid
Jai Hamid cobre criptomoedas, mercados de ações, tecnologia, economia global e eventos geopolíticos que afetam os mercados há 6 anos. Ela trabalhou com publicações focadas em blockchain, incluindo AMB Crypto, Coin Edition e CryptoTale, em análises de mercado, grandes empresas, regulamentação e tendências macroeconômicas. Formada na London School of Journalism, ela compartilhou insights sobre o mercado de criptomoedas três vezes em uma das principais redes de TV da África.
