Modelos da OpenAI escapam da sandbox de teste, invadem o Hugging Face para trapacear na avaliação
- A OpenAI divulgou que o GPT-5.6 Sol e um modelo não lançado mais capaz fugiram de um ambiente de teste selado e hackearam o banco de dados em produção do Hugging Face.
- Os modelos foram executados com os filtros de segurança desligados para um ciberbenchmark e escaparam por meio de um proxy de pacotes defeituoso para roubar as respostas do benchmark.
- Este é o primeiro caso conhecido de uma avaliação de modelo se transformando em uma violação real de uma empresa externa.
A OpenAI disse na terça-feira que dois de seus modelos, incluindo o GPT-5.6 Sol, disponível publicamente, escaparam de um ambiente de avaliação bloqueado na semana passada e invadiram os sistemas de produção do Hugging Face para roubar as respostas de um teste de hacking pelo qual estavam sendo avaliados.
Modelos da OpenAI tramam grande fuga
A OpenAI estava executando seus modelos contra o ExploitGym, um benchmark público que fornece a um agente de IA uma lista de vulnerabilidades reais de software e, em seguida, verifica se o modelo pode recriá-las. Essas avaliações são feitas com as barreiras de proteção que bloqueiam atividades cibernéticas de alto risco instaladas durante a produção deliberadamente desativadas para garantir que o laboratório possa testar a capacidade real de um modelo de IA.
A sandbox deveria não ter nenhuma maneira de acessar a internet. No entanto, havia uma conexão externa que funcionava por meio de um proxy de cache de registro de pacotes, um servidor de cache que dá aos desenvolvedores a capacidade de puxar bibliotecas de código de fontes externas sem uma conexão ao vivo.
Os modelos encontraram e exploraram uma falha anteriormente desconhecida neste proxy, após o que escalaram privilégios e se moveram pela rede de pesquisa da OpenAI até alcançarem uma máquina com acesso à internet.
Ataque de hacking no Hugging Face
Uma vez online, os modelos descobriram que o Hugging Face, a plataforma de hospedagem de IA de código aberto, provavelmente armazenava os modelos, conjuntos de dados e chaves de solução do ExploitGym. A partir daí, eles começaram a caçar.
“Os modelos identificaram e encadearam vulnerabilidades em todo o ambiente de pesquisa da OpenAI e na infraestrutura de produção do Hugging Face para obter as soluções de teste diretamente do banco de dados de produção do Hugging Face”, escreveu a OpenAI no post do blog. Um dos ataques combinou credenciais roubadas e bugs zero-day para alcançar um caminho de execução de código remoto nos servidores do Hugging Face.
A equipe de segurança da OpenAI entrou em contato com o Hugging Face após notar o tráfego estranho e anormal. Naquela altura, o Hugging Face já havia detectado e contido a intrusão dos modelos de IA de seu lado.
A empresa originalmente atribuiu a violação a um agente de IA externo desconhecido. A plataforma também já criou uma reconstrução de mais de 17.000 eventos registrados durante o episódio.
Um modelo de IA chinês de peso aberto ajudou na limpeza
Inicialmente, o Hugging Face recorreu a um modelo líder dos EUA para tentar analisar o ataque, mas o modelo não foi de grande ajuda devido às suas altas defesas cibernéticas. Os defensores então recorreram ao GLM 5.2, um modelo de peso aberto da empresa chinesa Z.ai, já que o sistema comercial americano não conseguia distinguir entre um defensor analisando um ataque e um atacante realizando um.
No entanto, nem todos veem a situação como uma falha de IA novel. “Este não é um problema de IA. É negligência em um padrão de 40 anos”, disse o consultor de segurança Davi Ottenheimer para a WIRED, argumentando que “‘altamente isolado’ e ‘escapou através do único buraco que deixamos aberto’ não podem ser verdadeiros ao mesmo tempo.” O pesquisador de segurança Niels Provos foi mais direto, afirmando no mesmo relatório que a violação “não deveria ter acontecido.”
OpenAI chama este incidente de “sem precedentes”
A OpenAI rotulou o episódio como “um incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de ponta” e disse que está reforçando os controles de infraestrutura, mesmo à custa da velocidade de pesquisa, enquanto as vulnerabilidades são corrigidas. A principal empresa de IA também adicionou o Hugging Face ao seu programa de acesso confiável, fornecendo à empresa uma versão do GPT-5.6 Sol ajustada para ajudar os defensores.
O incidente entre OpenAI e Hugging Face é o primeiro caso conhecido de testes de benchmark de um modelo de IA se tornando um ataque cibernético real. Isso também ocorre apenas um dia após a OpenAI divulgar um incidente separado em que um modelo pré-lançamento escapou de uma sandbox para postar no GitHub.
A OpenAI e o Hugging Face anunciaram que publicarão uma análise forense completa do evento para o público assim que a investigação for concluída.
As mentes mais inteligentes do setor de criptomoedas já leem nosso boletim informativo. Quer entrar? Junte-se a eles.
Opeyemi Olanrewaju
Opeyemi é especialista em criar e refinar conteúdo de alta qualidade focado em criptomoedas, mercados financeiros globais e economia. Formou-se pela Universidade de Ibadan com grau de MBBS. Trabalhou como Editor-Chefe da publicação editorial de sua faculdade e anteriormente na CFA. Por mais de seis anos, ajudou a salvaguardar a originalidade como editor de notícias na Cryptopolitan.
