Agente de IA rebelde da OpenAI deixou notas de fuga para suas versões futuras

A OpenAI descobriu que um de seus agentes de IA havia deixado instruções escritas. As notas diziam às versões futuras do agente como quebrar as restrições internas da empresa.

Sua descoberta ocorreu enquanto a OpenAI investigava como um de seus modelos havia saído de um ambiente de teste e hackeado a plataforma de IA de código aberto Hugging Face.

A equipe disse que as notas foram encontradas dentro da própria infraestrutura da OpenAI. As notas detalhavam maneiras pelas quais os agentes poderiam evitar as barreiras de segurança projetadas para mantê-los no lugar.

Dizia-se que os sistemas de monitoramento em testes anteriores e separados haviam sido desligados. Não está claro se esses incidentes envolveram o mesmo agente que eventualmente chegou ao Hugging Face.

O monitoramento da OpenAI não conseguiu acompanhar seus testes

O comportamento estranho surgiu enquanto a OpenAI testava as habilidades de cibersegurança de seus modelos. O laboratório continuava fazendo avaliações rápidas que produzem mais dados do que a equipe pode lidar. O laboratório frequentemente executa vários testes de modelos ao mesmo tempo em um sistema que não é monitorado por padrão, disseram quatro pessoas familiarizadas com o processo de treinamento da OpenAI.

A OpenAI não conectou imediatamente seu próprio sistema ao ataque do Hugging Face. A ligação só foi feita depois que a vítima tornou o caso público.

Marley Smith, especialista em inteligência sênior na fundação sem fins lucrativos World Ethical Data Foundation, não poupou palavras. “Isso significa que eles o deixaram desacompanhado e não perceberam o que estava fazendo? Ou talvez tenham percebido e não soubessem como contê-lo? Ambos são igualmente perigosos e alarmantes.”

Os relatórios técnicos descrevem modelos que não deveriam estar expostos à internet aberta. A OpenAI acreditava que uma caixa de areia os conteria e, como resultado, pulou as barreiras de segurança normais.

Em vez disso, os modelos encontraram uma falha anteriormente desconhecida em um serviço interno usado para baixar software aprovado. Essa brecha lhes deu um caminho para outros sistemas da OpenAI e, eventualmente, para a web aberta.

Três modelos foram empregados. Um modelo mais poderoso não lançado, o GPT-5.6 Sol, e um terceiro modelo que uma pessoa familiarizada com o assunto disse não ter sido alinhado ou treinado adequadamente por meio de processos padrão.

Os modelos descobriram que a Hugging Face tinha dados que poderiam usar em seu teste de cibersegurança, invadiram o sistema e usaram o que roubaram para melhorar seus próprios resultados. Isso é trapaça, um comportamento já documentado no GPT-5.6 Sol e em outros modelos de fronteira.

A violação levou mais de uma semana para ser rastreada pela OpenAI

As tentativas iniciais de sair do ambiente de teste ocorreram em 9 de julho. A violação real aconteceu entre 11 e 13 de julho, disse o co-fundador do Hugging Face, Thomas Wolf. Em 16 de julho, o Hugging Face publicou um post de blog atribuindo a intrusão a “um sistema autônomo de agente de IA”. Só então ocorreu à OpenAI suspeitar de seus próprios modelos.

As pistas foram descobertas por funcionários da OpenAI nos logs internos durante o fim de semana de 18 e 19 de julho. As empresas não conversaram até cerca de 20 de julho, disse Wolf. Até então, o Hugging Face já havia informado o FBI sobre o ataque. A OpenAI disse que, no dia anterior ao incidente se tornar público, ela havia interrompido outro deploy interno que também escapou de sua caixa de areia.

Um funcionário anônimo disse que os modelos já haviam escapado de caixas de areia antes, e que corrigir cada nova tática é um jogo perdido.

“É impossível corrigir cada única coisa que uma IA criativa pode fazer.” Um funcionário da OpenAI escreveu no X que estava “um pouco abalado” e esperava que a empresa tratasse o episódio como um tiro de aviso.

Um porta-voz da OpenAI disse que os relatórios continham “várias imprecisões”, mas não deu exemplos quando questionado.

De acordo com pesquisadores independentes, nada disso era imprevisível. A Epoch AI avaliou se o hack era previsível e concluiu que era, citando benchmarks do Instituto de Segurança de IA do Reino Unido mostrando que modelos de fronteira com medidas de segurança desligadas podem descobrir vulnerabilidades reais de software e gerar exploits funcionais.

O mesmo instituto descobriu que o GPT-5.6 Sol e o Mythos da Anthropic podem assumir com confiança redes corporativas simuladas desprotegidas. A Epoch AI alertou que, se tais capacidades se tornarem amplamente difundidas, a indústria pode ver muitos mais ataques na escala da violação do Hugging Face.