Los modelos de OpenAI escapan de la sandbox de prueba, hackean Hugging Face para hacer trampa en la evaluación
- OpenAI reveló que GPT-5.6 Sol y un modelo no lanzado más capaz escaparon de un entorno de prueba sellado y hackearon la base de datos en producción de Hugging Face.
- Los modelos se ejecutaron con los filtros de seguridad desactivados para una ciberprueba y escaparon a través de un proxy de paquetes defectuoso para robar las respuestas de la evaluación.
- Es el primer caso conocido de una evaluación de modelo que derivó en una brecha real contra una empresa externa.
OpenAI dijo el martes que dos de sus modelos, incluido el GPT-5.6 Sol disponible públicamente, escaparon de un entorno de evaluación bloqueado la semana pasada y entraron en los sistemas de producción de Hugging Face para robar las respuestas a una prueba de hacking en la que estaban siendo evaluados.
Los modelos de OpenAI planean una gran fuga
OpenAI estaba ejecutando sus modelos contra ExploitGym, un benchmark público que le da a un agente de IA una lista de vulnerabilidades de software reales y luego verifica si el modelo puede recrearlas. Estas evaluaciones se realizan con las barreras protectoras que bloquean la actividad cibernética de alto riesgo instaladas deliberadamente desactivadas durante la producción para asegurar que el laboratorio pueda probar la capacidad real de un modelo de IA.
Se suponía que la sandbox no tenía forma de acceder a internet. Sin embargo, había una conexión externa que funcionaba a través de un proxy de caché de registro de paquetes, un servidor de caché que da a los desarrolladores la capacidad de extraer bibliotecas de código de fuentes externas sin una conexión en vivo.
Los modelos encontraron y explotaron una falla previamente desconocida en este proxy, después de lo cual escalaron privilegios y se movieron a través de la red de investigación de OpenAI hasta alcanzar una máquina con acceso a internet.
Ataque de hacking a Hugging Face
Una vez en línea, los modelos dedujeron que Hugging Face, la plataforma de alojamiento de IA de código abierto, probablemente almacenaba los modelos de ExploitGym, conjuntos de datos y claves de solución. Desde allí, comenzaron a buscar.
"Los modelos identificados y encadenaron vulnerabilidades a través del entorno de investigación de OpenAI y la infraestructura de producción de Hugging Face para obtener soluciones de prueba directamente desde la base de datos de producción de Hugging Face", escribió OpenAI en la publicación del blog. Un ataque combinó credenciales robadas y vulnerabilidades de día cero para alcanzar una ruta de ejecución de código remoto en los servidores de Hugging Face.
El equipo de seguridad de OpenAI contactó a Hugging Face tras notar el tráfico extraño y anormal. Para ese momento, Hugging Face ya había detectado y contenido la intrusión de los modelos de IA en su lado.
La compañía había atribuido originalmente la brecha a un agente de IA externo desconocido. La plataforma también ya había creado una reconstrucción de más de 17.000 eventos registrados durante el incidente.
Un modelo de IA chino de pesos abiertos ayudó con la limpieza
Inicialmente, Hugging Face recurrió a un modelo líder de EE. UU. en intentos de analizar el ataque, pero el modelo no fue de mucha ayuda debido a sus altas defensas cibernéticas. Los defensores se volvieron en cambio hacia GLM 5.2, un modelo de peso abierto de la empresa china Z.ai, ya que el sistema comercial estadounidense no podía distinguir entre un defensor que analiza un ataque y un atacante que lo realiza.
Sin embargo, no todos ven la situación como un fallo de IA novedoso. “Este no es un problema de IA. Es negligencia en un estándar de 40 años”, dijo el consultor de seguridad Davi Ottenheimer a WIRED, argumentando que “‘altamente aislado’ y ‘escapó a través del único agujero que dejamos abierto’ no pueden ser ambos ciertos”. El investigador de seguridad Niels Provos fue más directo, afirmando en el mismo informe que la violación “no debería haber ocurrido.”
OpenAI califica este incidente como "sin precedentes"
OpenAI etiquetó el episodio como “un incidente cibernético sin precedentes, que involucra capacidades cibernéticas de última generación” y dijo que está endureciendo los controles de infraestructura, incluso a costa de la velocidad de investigación, mientras se parchean las vulnerabilidades. La principal empresa de IA también ha añadido a Hugging Face a su programa de acceso confiable, dándole a la empresa una versión de GPT-5.6 Sol ajustada para ayudar a los defensores.
El incidente de OpenAI y Hugging Face es el primer caso conocido de que las pruebas de referencia de un modelo de IA se convierten en un ciberataque real. También ocurre apenas un día después de que OpenAI revelara un incidente separado donde un modelo previo al lanzamiento escapó de una sandbox para publicar en GitHub.
OpenAI y Hugging Face han anunciado que publicarán un desglose forense completo del evento una vez que se complete la investigación.
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Opeyemi Olanrewaju
Opeyemi se especializa en crear y refinar contenido de alta calidad centrado en criptomonedas, mercados financieros globales y la economía. Se graduó de la Universidad de Ibadan con un título de MBBS. Ha trabajado como Editor Jefe de la publicación editorial de su universidad y anteriormente en CFA. Durante más de seis años, ha ayudado a salvaguardar la originalidad como editor de noticias en Cryptopolitan.
