A Anthropic explica as violações de segurança na internet causadas pela sua IA, mas não consegue identificar as falhas
Foto de Solen Feyissa no Unsplash.
- A Anthropic explicou que uma configuração incorreta permitiu que quatro modelos Claude acedessem à internet em tempo real e invadissem sistemas reais durante os testes de cibersegurança.
- A empresa afirmou que ainda não consegue determinar a causa raiz do problema e que as verificações realizadas antes do lançamento não o detetaram.
- O alarme de segurança está a soar à medida que a Anthropic se aproxima de um IPO de aproximadamente 2 triliões de dólares.
A Anthropic atribuiu a culpa a uma configuração incorreta numa publicação de blogue que explica os quatrodentem que os seus modelos Claude invadiram sistemas de terceiros após acederem à internet durante os testes. No entanto, a avaliação não explicou porque é que os modelos continuaram com os ataques, e a empresa admitiu que ainda não tinha essas respostas.
Esta admissão da Anthropic trouxe novos argumentos para os pessimistas da IA que questionam o quanto os laboratórios de IA controlam realmente os modelos que disponibilizam ao público e, ainda mais, os sistemas mais poderosos que utilizam internamente.
Como é que os modelos de IA antropogénica chegaram à internet?
A Anthropic apresentou a defisobre como os seus modelos escaparam do ambiente de testes num post de blog na quarta-feira , esclarecendo que um único parceiro externo foi responsável por executar as avaliações de cibersegurança em todos os quatro incidentesdent.
Aparentemente, as máquinas de teste não foram completamente isoladas da internet devido a um erro de configuração, embora Claude tivesse sido informado de que estavam a operar numa simulação selada, sem acesso à internet pública.
A Irregular, parceira de avaliação nestas simulações, atribuiu o erro a uma falha de nomenclatura: uma empresa fictícia utilizada num exercício de intrusão coincidia com um domínio real. Assim, partindo do pressuposto de que tudo na simulação era legítimo, os modelos invadiram os sites reais de terceiros utilizando passwords fracas e vulnerabilidades expostas.
O mais recente dos quatro incidentesdentenvolvendo uma versão inicial do Claude Opus 4.6, só foi noticiado esta semana, embora tenha ocorrido em janeiro. A própria Anthropic já tinha noticiado os outros trêsdent, envolvendo um Opus 4.7, um Mythos 5 e um modelo de pesquisa interno, em julho.
A Anthropic afirmou que só detetou odent de janeiro no mês passado. Esta descoberta levou a uma análise mais ampla de aproximadamente 481 milhões de transcrições, que não revelou nenhum caso novo mais grave do que aqueles que já eram conhecidos.
| Modelo | Datadent | Data de reporte | Detalhes |
|---|---|---|---|
| Claude Opus 4.6 | Janeiro | Setembro | Descoberto durante a varredura de agosto |
| Claude Opus 4.7 | Julho | Julho | Conforme divulgado na publicação inicial de julho |
| Mito 5 | Julho | Julho | Apresentou um nível notavelmente elevado de raciocínio enviesado |
| Modelo de pesquisa interna | Julho | Julho | Conforme divulgado na publicação inicial de julho |
A antropologia não consegue explicar alguns dos comportamentos dos seus modelos
A explicação de como os modelos se libertaram na internet era uma coisa; a Anthropic não tinha respostas sobre o porquê de os modelos ignorarem os sinais de que tinham chegado à internet real (raciocínio tendencioso) e por que razão causaram danos na conclusão de tarefas (imprudência).
Os investigadores antrópicos não encontraram nada ao analisar o treino interno para descobrir a razão do raciocínio tendencioso. Os sinais de alerta também não apareceram nas verificações pré-lançamento do laboratório de IA, nem antes de os modelos serem enviados para testes.
Segundo a própria empresa, detetar os piores comportamentos antes do lançamento do modelo "continua a ser um desafio"
No entanto, a Anthropic afirmou que irá submeter as transcrições e conceder acesso à equipa à organização sem fins lucrativos de investigação METR, que irá agora iniciar uma revisãodent de oito semanas dosdent.
Momento inoportuno, com um IPO de 2 triliões de dólares no horizonte
A revelação foi acompanhada de uma ampla discordância dentro do setor. Jacob Coxon, que passou cerca de três anos em investigação de pré-formação na OpenAI e na Anthropic, disse na quarta-feira, no programa X, que se tinha demitido porque nenhuma das empresas estava "a agir de forma responsável", alertando que estavam a correr em direção à superinteligência auto-aperfeiçoável.
O investigador de segurança antropogénica Evan Hubinger disse separadamente à BBC que estimava em mais de 10% a probabilidade de a IA "poder matar todos os humanos" dentro de uma década.
Estes alertas pairam agora sobre uma grande oferta pública inicial (IPO). O investidor de capital de risco e ex-czar de IA e criptomoedas de Trump, David Sacks, disse na quinta-feira que a oferta da Anthropic "deve ser suspensa até que as alegações deste 'denunciante' possam ser investigadas", Cryptopolitan .
A Anthropic procura uma avaliação pública próxima dos 2 biliões de dólares, contra uma recente avaliação privada de cerca de 965 mil milhões de dólares, o que torna cada vez mais difícil separar as questões de segurança das questões financeiras.
Não se limite a ler notícias sobre criptomoedas. Compreenda-as. Assine nossa newsletter. É grátis.
Perguntas frequentes
Quantosdentde hacking de IA a Anthropic divulgou e quais foram as causas?
A Anthropic divulgou quatrodentem que modelos Claude acederam a sistemas reais de terceiros durante avaliações de cibersegurança. Todos decorreram de uma configuração incorreta que ligou os modelos à internet aberta, embora lhes tivesse sido dito que estavam numa simulação offline.
O que é que a Anthropic disse que não conseguia explicar?
A Anthropic afirmou que não conseguiudentuma única causa raiz para o "raciocínio tendencioso" demonstrado pelos seus modelos, no qual desconsideravam as provas de que estavam na internet real, e não conseguiu explicar porque é que o Claude Mythos 5 teve um desempenho particularmente fraco nesta métrica.
Porque é que isso afeta o IPO planeado da Anthropic?
A revelação surgiu depois de o investigador Jacob Coxon se ter demitido devido a preocupações de segurança, levando o investidor David Sacks a pedir, na quinta-feira, que o IPO da Anthropic fosse suspenso até que as denúncias fossem investigadas, enquanto a empresa procura uma avaliação próxima dos 2 triliões de dólares.
Hannah Collymore
Hannah é escritora e editora com quase uma década de experiência em redação para blogs e cobertura de eventos no universo das criptomoedas. No Cryptopolitan, Hannah contribui para a página de notícias, reportando e analisando os últimos desenvolvimentos em DeFi, RWA, regulamentação de criptomoedas, IA e tecnologias de ponta. Ela se formou em Administração de Empresas pela Universidade Arcadia.
