A Anthropic explica as violações da internet por sua IA, mas não consegue identificar as falhas
Foto de Solen Feyissa em Unsplash.
- A Anthropic explicou que uma má configuração permitiu que quatro modelos Claude acessassem a internet ao vivo e hackeassem sistemas reais durante testes de cibersegurança.
- A empresa afirmou que ainda não conseguiu identificar a causa raiz do comportamento e que verificações pré-lançamento não detectaram o problema.
- O alarme de segurança soa enquanto a Anthropic se aproxima de um IPO estimado em cerca de 2 trilhões de dólares.
A Anthropic atribuiu a uma configuração incorreta, em um post de blog, os quatro incidentes em que seus modelos Claude invadiram sistemas de terceiros após acessarem a internet durante os testes. No entanto, a avaliação não chegou a explicar por que os modelos realmente continuaram com os ataques, com a empresa admitindo que ainda não possui essas respostas.
Essa admissão da Anthropic forneceu novos pontos para os pessimistas da IA que têm questionado o quanto os laboratórios de IA realmente têm controle sobre os modelos que lançam ao público e, ainda mais, sobre os sistemas mais poderosos que usam internamente.
Como os modelos de IA da Anthropic acessaram a internet?
A Anthropic apresentou a resposta definitiva sobre como seus modelos escaparam de sua sandbox de testes em um post de blog na quarta-feira que esclareceu que um único parceiro externo foi responsável por executar as avaliações de cibersegurança em todos os quatro incidentes confirmados.
Aparentemente, as máquinas de teste não estavam completamente isoladas da internet devido a um erro de configuração, mesmo que o Claude tenha sido instruído a operar em uma simulação selada sem acesso à web aberta.
O parceiro de avaliação nessas simulações, a Irregular, atribuiu o erro a um equívoco de nomenclatura: uma empresa fictícia usada em um exercício de hacking coincidia com um domínio real. Assim, operando sob a suposição de que tudo na simulação estava disponível, os modelos invadiram os sites reais de terceiros usando senhas fracas e endpoints expostos.
O mais recente dos quatro incidentes, envolvendo uma versão inicial do Claude Opus 4.6, foi reportado apenas nesta semana, embora tenha ocorrido lá em janeiro. A própria Anthropic cobriu os outros três incidentes envolvendo um Opus 4.7, o Mythos 5 e um modelo de pesquisa interno em julho.
A Anthropic disse que só tomou conhecimento do incidente de janeiro no mês passado. Essa descoberta levou a uma varredura mais ampla de aproximadamente 481 milhões de transcrições, que não revelou novos casos mais graves do que aqueles que já eram conhecidos.
| Modelo | Data do Incidente | Data do Relatório | Detalhes |
|---|---|---|---|
| Claude Opus 4.6 | Janeiro | Setembro | Descoberto durante a varredura de agosto |
| Claude Opus 4.7 | Julho | Julho | Coberto na divulgação inicial de julho |
| Mythos 5 | Julho | Julho | Apresentou raciocínio tendencioso notavelmente alto |
| Modelo de Pesquisa Interno | Julho | Julho | Coberto na divulgação inicial de julho |
A Anthropic não consegue explicar alguns comportamentos de seus modelos
A explicação de como os modelos escaparam para a internet era uma coisa; a Anthropic não tinha respostas sobre por que os modelos ignoraram os sinais de que haviam alcançado a internet real (raciocínio tendencioso) e por que causaram danos ao completar tarefas (imprudência).
Os pesquisadores da Anthropic não obtiveram sucesso ao investigar o treinamento interno para entender a lógica por trás do raciocínio tendencioso. As bandeiras vermelhas nunca apareceram nas verificações pré-lançamento do laboratório de IA, nem antes do envio dos modelos para os testes.
Pela própria admissão da empresa, detectar os piores comportamentos antes do lançamento do modelo “permanece desafiador”.
No entanto, a Anthropic disse que submeterá as transcrições e concederá acesso à equipe da organização sem fins lucrativos de pesquisa METR, que agora iniciará uma revisão independente de oito semanas dos incidentes.
Mau momento com uma IPO de $2 trilhão à vista
A divulgação chegou junto com dissidência aberta dentro da indústria. Jacob Coxon, que passou cerca de três anos em pesquisa de pré-treinamento na OpenAI e na Anthropic, disse no X na quarta-feira que havia saído porque nenhuma das empresas estava “agindo com responsabilidade”, alertando que estavam correndo em direção a uma superinteligência autoaperfeiçoável.
O pesquisador de segurança da Anthropic, Evan Hubinger, separadamente disse à BBC disse que colocava as chances de a IA “poder matar todos os humanos” dentro de uma década acima de 10%.
Esses avisos agora sombreiam uma grande IPO. O investidor de capital de risco e ex-chefe de IA e cripto de Trump, David Sacks, disse na quinta-feira que a oferta da Anthropic “deve ser pausada até que as alegações deste ‘denunciante’ sejam investigadas”, relatou o Cryptopolitan.
A Anthropic está buscando uma avaliação pública próxima de $2 trilhões, contra uma marca privada recente de cerca de $965 bilhões, o que torna as questões de segurança e as financeiras cada vez mais difíceis de separar.
Não apenas leia notícias sobre criptomoedas. Entenda-as. Inscreva-se em nossa newsletter. É grátis.
Perguntas Frequentes
Quantos incidentes de hacking com IA a Anthropic divulgou e quais foram as causas?
A Anthropic divulgou quatro incidentes nos quais os modelos Claude acessaram sistemas reais de terceiros durante avaliações de cibersegurança. Todos decorreram de uma má configuração que conectou os modelos à internet aberta, mesmo quando lhes fora dito que estavam em uma simulação offline.
O que a Anthropic disse não conseguir explicar?
A Anthropic afirmou não conseguir identificar uma única causa raiz para o "raciocínio enviesado" exibido por seus modelos, no qual eles desconsideravam evidências de que estavam na internet real, e também não pôde explicar por que o Claude Mythos 5 teve desempenho especialmente ruim nessa medida.
Por que isso afeta o IPO planejado da Anthropic?
A divulgação ocorreu enquanto o pesquisador Jacob Coxon renunciou devido a preocupações com segurança, levando o investidor David Sacks a pedir na quinta-feira que o IPO da Anthropic seja suspenso até que as alegações de denunciantes sejam investigadas, enquanto a empresa busca uma avaliação próxima a US$ 2 trilhões.
Hannah Collymore
Hannah é escritora e editora com quase uma década de experiência em redação de blogs e cobertura de eventos no espaço cripto. Na Cryptopolitan, Hannah contribui para a página de notícias, relatando e analisando os últimos desenvolvimentos nos setores DeFi, RWA, regulação cripto, IA e tecnologias de fronteira. Ela se formou na Universidade Arcadia com graduação em Administração de Empresas.
