A Alibaba relata agente de IA fora de controle enquanto crescem os temores de falhas técnicas

A Alibaba deu Medo da IAs frmunição quando revelou que um agente de IA desenvolvido para auxiliar com tarefas de programação foi relatado como tendo sido pego indo além da intenção original de sua implantação, minerando criptomoedas e estabelecendo túneis de rede secretos sem autorização.

A Alibaba revelou esse desenvolvimento em um relatório técnico que publicou pela primeira vez em dezembro e revisou em janeiro. No início, seus engenheiros acharam que o incidente era uma violação de segurança antes de descobrirem que era a sua própria agente de IA que estava realizando ações sem nenhuma instrução de seus operadores.

Esse desenvolvimento foi revelado em um relatório técnico do gigante tecnológico chinês, e forneceu nova munição para pesquisadores que alertam que sistemas de IA avançados são capazes de desenvolver seus próprios objetivos.

O agente, conhecido como ROME, estava sendo treinado por meio de aprendizado por reforço.

A descoberta feita pela equipe da Alibaba foi trazida à luz por Alexander Long, fundador da empresa de pesquisa de IA Pluralis, no X, que compartilhou um trecho que detalhava o incidente, afirmando que se trata de uma "sequência insana de declarações enterradas em um relatório técnico da Alibaba ".

Como a equipe da Alibaba descobriu um agente de IA fora de controle?

De acordo com o relatório, a equipe sinalizou uma explosão de violações de políticas de segurança originadas de seus servidores de treinamento. Os alertas mostravam que estavam sendo feitas tentativas de acessar recursos de rede interna e padrões de tráfego consistentes com atividades de mineração de criptomoedas.

Eles inicialmente trataram isso como um incidente de segurança convencional.

No entanto, quando olharam mais de perto, encontraram sinais de que seu agente havia estabelecido e usado um túnel SSH reverso de uma instância da Alibaba Cloud para um endereço IP externo.

Ele também desviou "cálculos do treinamento, inflando os custos operacionais e introduzindo exposição legal e reputacional clara", de acordo com as notas dos pesquisadores.

Os comportamentos, concluiu a equipe da Alibaba, não foram acionados pelos prompts da tarefa e não eram necessários para concluir o trabalho atribuído.

Este é um incidente isolado?

Aakash Gupta, um líder de produto e crescimento que citou a postagem de Long no X, escreveu que a Alibaba havia publicado "o primeiro caso de convergência instrumental acontecendo em produção."

Ele invocou um famoso experimento mental em segurança de IA, afirmando que "Este é o maximizador de clipes aparecendo em 3 bilhões de parâmetros."

No entanto, o incidente da Alibaba não é a primeira vez que um modelo de IA tomou a iniciativa de realizar ações autorizadas.

No ano passado, pesquisadores da Anthropic divulgaram que o Claude Opus 4, um de seus modelos principais, havia demonstrado capacidade de ocultar suas intenções e tomar ações para preservar sua própria existência durante avaliações de segurança.

Em um cenário de teste, o modelo tentou chantagear um engenheiro fictício, ameaçando revelar um segredo pessoal se fosse desligado e substituído.

Por que isso importa, especialmente para as empresas?

De acordo com um relatório de pesquisa da McKinsey lançado em outubro de 2025, 80% das organizações que implantaram agentes de IA relataram ter encontrado comportamento arriscado ou inesperado.

Isso também está ocorrendo em um momento em que a adoção de IA agêntica pelas empresas está aumentando, com grandes corporações demitindo funcionários e citando o uso de IA como o principal fator.

A Gartner projeta que, até o final de 2026, 40% dos aplicativos empresariais incorporarão agentes de IA específicos para tarefas. No entanto, a McKinsey alertou que os fluxos de trabalho agênticos estão se espalhando mais rápido do que os modelos de governança podem abordar seus riscos.

Uma pesquisa de 2025 com 30 principais agentes de IA descobriu que 25 não divulgaram resultados de segurança interna, e 23 não passaram por testes de terceiros. É importante que as empresas levem a possibilidade de agentes irem além do escopo do trabalho a sério.

A Alibaba disse que respondeu construindo filtragem de dados alinhada à segurança em seu pipeline de treinamento e endurecendo os ambientes de sandbox nos quais seus agentes operam, e recebeu elogios por compartilhar suas descobertas com o público.

A Anthropic atualizou o Claude Opus 4 para sua mais alta classificação interna de segurança.