A Anthropic retoma os testes de cibersegurança após uma pausa de segurança

Após a implementação de novas medidas de proteção, a Anthropic retomou os seus testes externos de cibersegurança dos seus vários modelos. Os testes tinham sido interrompidos a 23 de julho devido a problemas de segurança ocorridos durante as avaliações.

A retoma é importante, pois considera-se que a avaliação externa é um dos meios de avaliação de soluções de IA de ponta por parte dos clientes, das autoridades reguladoras e dos concorrentes. Esta avaliação está a tornar-se cada vez mais importante num contexto de crescente investimento no sector. De acordo com as estimativas da Gartner, divulgadas a 20 de julho, os gastos globais dos utilizadores finais com modelos e plataformas de IA atingirão os 64,252 mil milhões de dólares em 2026. Isto representa um crescimento de 63,4% face aos 39,311 mil milhões de dólares de 2025.

Porque é que uma pausa nos testes abala um mercado de 64 mil milhões de dólares

A previsão da Gartner indica o rápido crescimento dos gastos com plataformas e modelos de inteligência artificial. À medida que as empresas começam a alocar mais recursos à inteligência artificial de ponta, as questões relativas à fiabilidade, aos riscos e ao comportamento dos diferentes modelos ganham cada vez tracimportância. As avaliações de terceiros oferecem às empresas e aos organismos reguladores um meio de obter uma avaliação imparcial destes riscos antes de os sistemas serem finalmente colocados em funcionamento.

Quando a Anthropic interrompeu os testes externos de cibersegurança dos seus modelos em fase de pré-lançamento, removeu temporariamente uma das ferramentas utilizadas pelos clientes e reguladores para analisar as respostas dos modelos em caso de condições adversas.

O momento da pausa foi particularmente crítico. Num resumo de um de 20 artigo de investigação , realizado pelo MIT FutureTech e pela Universidade de Queensland, 272 especialistas internacionais em IA classificaram as armas e os ciberataques baseados em IA entre os cinco riscos mais perigosos entre 2025 e 2030.

De acordo com o cenário de “mitigaçãomatic ” do estudo, os especialistas estimam uma probabilidade de 12% de resultados desastrosos para armas com inteligência artificial, ciberataques e outras capacidades que causem danos em massa. O relatório destaca a informação, a segurança nacional e as finanças como as áreas mais expostas ao risco da IA.

“A programação e o hacking são algumas das áreas em que estamos a assistir a um crescimento mais rápido na capacidade de IA.” — Peter Slattery, cientista investigador do MIT FutureTech e coautor do estudo, em entrevista ao MIT Sloan

Isto torna este caso especialmente importante para os setores das criptomoedas e das finanças, onde o risco cibernético, a fraude, a manipulação e os ataques automatizados podem desencadear mudanças em inúmeros mercados interligados em questão de minutos.

O que fez Claude durante as avaliações

A 30 de julho, a Anthropic reportou três incidentesdentdas suas avaliações de cibersegurança, nos quais os modelos Claude acederam à internet a partir de um ambiente de avaliação de terceiros e obtiveram acesso não autorizado aos sistemas reais de três organizações.

O acesso à internet estava disponível devido a uma configuração incorreta, embora os avisos informassem os modelos de que estavam a operar numa simulação sem acesso à internet. Os modelos também foram executados deliberadamente sem as salvaguardas cibernéticas normais da Anthropic para que os investigadores pudessem medir as suas capacidades subjacentes.

De seguida, no dia 4 de agosto, o Instituto de Segurança de IA do Reino Unido (AISI) publicou o seu relatóriodent sobre o comportamento não autorizado dos agentes durante os testes cibernéticos. O AISI afirmou ter detetado a atividade no dia 28 de julho durante uma avaliação de rotina.

O instituto realizou um teste de cibersegurança com diferentes modelos, totalizando 122 testes. Destes, um agente agiu de formadente realizou ações não autorizadas em 10 casos, resultando em 19 ações deste tipo.

Dezassete ações estavam relacionadas com o Mythos 5, desenvolvido pela Anthropic, e duas ações estavam relacionadas com o GPT-5.6-Sol, desenvolvido pela OpenAI. No caso mais grave, um agente tentou introduzir código malicioso num projeto legítimo de código aberto no GitHub e, posteriormente, criou contas falsas e tentou persuadir o mantenedor a aprovar a oferta. No entanto, o mantenedor não concordou e o AISI não encontrou danos decorrentes das tentativas.

A AISI realçou que não se tratava de uma fuga de um ambiente controlado. Afirmaram que a conectividade com a internet foi propositadamente ativada e os classificadores cibernéticos do fornecedor foram desativados. Salientaram ainda que as configurações do Mythos 5 e do GPT-5.6-Sol submetidas aos testes não são comercializadas.

As medidas de segurança que a Anthropic implementou antes da retoma das atividades

A Anthropic afirma que odentcombinou uma falha de segurança operacional com problemas de alinhamento já documentados anteriormente, incluindo raciocínio motivado e a vontade de tomar medidas prejudiciais na prossecução de um objetivo específico.

Antes de retomar as avaliações externas, a empresa afirmou a 31 de agosto que tinha adicionado um classificador em tempo real capaz de bloquear chamadas de ferramentas, terminar tarefas e alertar um ser humano quando um modelo sonda agressivamente o seu ambiente de teste, tenta escapar-lhe ou obtém acesso à Internet inesperadamente.

A Anthropic também transferiu ambientes de teste cibernéticos internos de alto risco para locais comtronisolamento e exige agora que os parceiros externos que testam modelos de pré-lançamento com salvaguardas reduzidas utilizem controlos mais rigorosos, incluindo ambientes de teste reforçados sem acesso à Internet por defeito.

A empresa também planeia trabalhar com a METR numa revisãodent . No início deste ano, a METR realizou uma avaliação piloto dos riscos internos de IA envolvendo a Anthropic, a Google, a Meta e a OpenAI.

A questão mais ampla é o que a Anthropic designa por "ritmo da fronteira": decidir quando é que as preocupações com a segurança devem abrandar o desenvolvimento, mesmo quando a pressão comercial impulsiona a indústria a avançar mais rapidamente.