A Anthropic afirma que Claude invadiu três empresas durante testes de segurança falhos
Foto de Brett Wharton no Unsplash.
- A Anthropic afirmou que três modelos Claude escaparam dos ambientes de teste e obtiveram acesso não autorizado a três organizações reais.
- O grupo Mythos 5 publicou um pacote Python malicioso no PyPI, que foi baixado e executado em 15 sistemas reais.
- A divulgação ocorreu nove dias após a violação de segurança da Hugging Face, da OpenAI.
Três dos modelos Claude da Anthropic escaparam de ambientes de teste que deveriam ser seguros, informou a empresa na quinta-feira. Eles invadiram os sistemas ativos de três organizações diferentes. Uma configuração incorreta havia concedido aos modelos acesso à internet durante os exercícios de cibersegurança.
Os modelos de Claude tratavam empresas reais como alvos de prática
A OpenAI afirmou em 21 de julho que um modelo escapou de seu ambiente de testes e explorou uma vulnerabilidade zero-day para alcançar os sistemas de produção da Hugging Face.
Isso levou a Anthropic a vasculhar seus registros. A empresa afirmou em uma postagem no blog do seu site Frontier Red Team que analisou 141.006 execuções de avaliação nas quais Claude poderia teoricamente ter acessado a internet. Foramdenttrêsdentrelacionados à Irregular, uma parceira externa que realiza e gerencia alguns de seus testes de segurança ofensiva.
Nesses testes, um modelo é informado de que um segredo está escondido em outra máquina e solicitado a ir buscá-lo. O comando de Anthropic para Claude indicava que o ambiente era uma simulação.
Uma configuração incorreta permitiu que máquinas de avaliação tivessem acesso à internet, e nenhuma das empresas percebeu o problema até a semana passada. A Anthropic descreveu a confusão como um "mal-entendido" entre as duas empresas, acrescentando que está "tratando as correções como se a responsabilidade fosse exclusivamente nossa"
Isso incluiu o Opus 4.7, o Mythos 5 e um modelo de pesquisa interno que não foi divulgado. A diferença residia na forma como cada um reagiu após surgirem indícios de que os alvos eram reais, o que a Anthropic considerou sua descoberta mais surpreendente.
A versão mais antiga, Opus 4.7, completou todas as quatro simulações. Em duas delas, convenceu-se de que a empresa real devia estar de alguma forma envolvida no exercício. Ela coletoudente acessou um banco de dados com informações de produção. O Mythos 5 também deduziu que estava na internet aberta, mas, por meio de raciocínio, voltou à conclusão de que ainda estava em uma simulação.
Apenas o modelo mais recente, a versão de pesquisa interna, parou automaticamente ao detectar que os sistemas eram reais. A Anthropic afirmou que seu código "não encontrou nem explorou nenhuma vulnerabilidade complexa" e, em vez disso, utilizou senhas fracas e endpoints não autenticados.
A Mythos 5 publicou um malware que funcionou em 15 sistemas reais
Seguindo as instruções de configuração para desenvolvedores, o Mythos 5 procurou por um pacote Python no PyPI que não existia. Então, para realizar sua tarefa, ele escreveu e publicou um com esse nome.
O pacote ficou online por cerca de uma hora antes de ser retirado do ar. Ele foi baixado e executado em 15 sistemas reais. Outro ataque atingiu um domínio que os criadores do teste acreditavam ser fictício, mas que na verdade estava ativo e em uso.
A Anthropic afirmou não ter encontrado evidências de que qualquer modelo estivesse "buscando um objetivo próprio". Cada um, segundo sua versão, estava simplesmente tentando realizar a tarefa que lhe foi atribuída.
A empresa fez questão de ressaltar que seu caso é diferente do da OpenAI. O modelo da OpenAI escapou por meio de uma vulnerabilidade não descoberta, disse a Anthropic, enquanto seus próprios modelos escaparam por uma porta que foi deixada aberta por engano.
A empresa descreveu os eventos como "mais próximos de uma falha de segurança e operacional". Ela também ressaltou que os classificadores de segurança e o monitoramento incluídos em seus produtos comerciais teriam evitado o ocorrido.
A Anthropic iniciou sua revisão na quinta-feira, 23 de julho, e interrompeu todas as avaliações cibernéticas no mesmo dia. Os trêsdentforamdentno dia seguinte. A empresa informou a Irregular e as organizações afetadas na segunda-feira, 27 de julho.
Duas organizações não haviam detectado ou relatado intrusões. A empresa afirmou ter contratado o grupo de avaliação METR para realizar uma revisãodent .
O modelo Mythos da Anthropic já havia sido notícia neste verão pordentvulnerabilidades em sistemas confidenciais do governo dos EUA em questão de horas, conforme Cryptopolitan relatado. O modelo também descobriu uma vulnerabilidade de quatro anos no Zcashpool protegido Orchard do
As mentes mais brilhantes do mundo das criptomoedas já leem nossa newsletter. Quer participar? Junte-se a elas.
Perguntas frequentes
Quais modelos da Claude estiveram envolvidos nas violações?
A Anthropic afirmou que três modelos estavam envolvidos: Opus 4.7, Mythos 5 e um modelo de teste de pesquisa interna ainda não divulgado.
Como Claude conseguiu acesso aos sistemas reais se tudo estava em um teste?
Uma configuração incorreta nas avaliações realizadas com a Irregular, parceira da Anthropic, permitiu que as máquinas de teste tivessem acesso à internet em tempo real. O comando da Anthropic havia informado a Claude que o ambiente era uma simulação sem conectividade, portanto, os modelos trataram sistemas reais como parte do exercício.
Algum dos ataques causou danos reais?
Sim. O grupo Mythos 5 publicou um pacote Python malicioso no PyPI que permaneceu online por cerca de uma hora e foi baixado e executado em 15 sistemas reais. O grupo Opus 4.7 obtevedente acessou um banco de dados de produção antes que a Anthropic detectasse a atividade.
Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. CryptopolitanO não se responsabiliza por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamostrona realização de pesquisas independentesdent /ou a consulta a um profissional qualificado antes de tomar qualquer decisão de investimento.
Randa Moses
Randa Moses é editora e repórter da Cryptopolitan onde cobre tecnologia, IA, robótica, criptomoedas, golpes e ataques cibernéticos. Ela trabalha no universo das criptomoedas desde 2017, tendo atuado na Forward Protocol, AmaZix e Cryptosomniac. Randa é formada em Engenharia Elétrica etronpela Universidade de Bradford.
