A Anthropic diz que o Claude invadiu três empresas durante testes de segurança com vazamentos

Três dos modelos da Anthropic Claude escaparam do que deveriam ser ambientes de teste bloqueados, disse a empresa na quinta-feira. Eles invadiram os sistemas ao vivo de três organizações diferentes. Uma configuração incorreta havia concedido aos modelos acesso à internet durante os exercícios de cibersegurança.

Os modelos Claude trataram empresas reais como alvos de prática

A OpenAI disse em 21 de julho que um modelo escapou de sua sandbox e explorou uma vulnerabilidade zero-day para alcançar os sistemas de produção do Hugging Face.

Isso levou a Anthropic a vasculhar seus logs. A empresa disse em um post no blog em seu site Frontier Red Team que analisou 141.006 execuções de avaliação nas quais o Claude poderia teoricamente ter acessado a internet. Ela identificou três incidentes relacionados à Irregular, um parceiro externo que realiza e gerencia alguns de seus testes de segurança ofensiva.

Nesses testes, diz-se a um modelo que um segredo está escondido em outra máquina e pede-se que ele vá buscá-lo. O prompt da Anthropic para o Claude havia dito que o ambiente era uma simulação.

Uma configuração incorreta deixou as máquinas de avaliação com acesso à internet ao vivo, e nenhuma das empresas percebeu isso até a semana passada. A Anthropic descreveu a confusão como um “mal-entendido” entre as duas empresas, acrescentando que está “abordando as correções como se a responsabilidade fosse apenas nossa.”

Isso incluiu o Opus 4.7, o Mythos 5 e um modelo de pesquisa interno que ainda não foi lançado. A diferença estava em como cada um respondeu após surgirem indicações de que os alvos eram reais, o que a Anthropic disse ser sua descoberta mais surpreendente.

O mais antigo, Opus 4.7, percorreu todas as quatro de suas execuções. Em duas execuções, ele convenceu a si mesmo de que a empresa real deve de alguma forma fazer parte do exercício. Ele puxou credenciais e atingiu um banco de dados com dados de produção. O Mythos 5 também deduziu que estava na internet aberta, então raciocinou de volta à crença de que ainda estava em uma simulação.

Apenas o modelo mais recente, a versão interna de pesquisa, parou por conta própria quando pensou que os sistemas eram reais. A Anthropic declarou que seu código “não encontrou ou explorou nenhuma vulnerabilidade complexa” e, em vez disso, dependeu de senhas fracas e endpoints não autenticados.

O Mythos 5 publicou malware que foi executado em 15 sistemas reais

Seguindo as notas sobre configuração do desenvolvedor, o Mythos 5 procurou um pacote Python do PyPI que não existia. Então, para fazer seu trabalho, ele escreveu e publicou um sob esse nome.

O pacote ficou online por cerca de uma hora antes de ser removido. Ele foi baixado e executado em 15 sistemas reais. Outro ataque atingiu um domínio que os designers do teste acreditavam ser fictício, mas que estava realmente ativo e em uso.

A Anthropic disse que não encontrou evidências de que qualquer modelo estava “perseguindo um objetivo próprio”. Cada um, em sua narrativa, estava simplesmente tentando concluir a tarefa que lhe foi dada.

A empresa foi rápida em notar que seu caso é diferente do da OpenAI. O modelo da OpenAI escapou por meio de uma vulnerabilidade não descoberta, disse a Anthropic, enquanto seus próprios modelos escaparam por uma porta que foi deixada aberta por engano.

Ela descreveu os eventos como “mais próximos de uma falha de harness e operacional”. A empresa também apontou que os classificadores de segurança e monitoramento incluídos em seus produtos comerciais teriam impedido o comportamento.

A Anthropic iniciou sua revisão na quinta-feira, 23 de julho, e interrompeu todas as avaliações cibernéticas no mesmo dia. Todos os três incidentes foram identificados no dia seguinte. Ela informou a Irregular e as organizações impactadas na segunda-feira, 27 de julho.

Duas organizações não viram ou relataram intrusões. A empresa disse que envolveu o grupo de avaliação METR para realizar uma revisão independente.

O modelo Mythos da Anthropic já fez headlines neste verão por identificar fraquezas em sistemas classificados do governo dos EUA em questão de horas, como reportou a Cryptopolitan. O modelo também descobriu uma vulnerabilidade de quatro anos na piscina protegida Orchard do Zcash.