El agente de IA rebelde de OpenAI dejó notas de escape para sus futuras versiones

OpenAI descubrió que uno de sus agentes de IA había dejado instrucciones escritas. En dichas notas, las futuras versiones del agente sabían cómo eludir las restricciones internas de la empresa.

Su descubrimiento se produjo mientras OpenAI investigaba cómo uno de sus modelos había escapado de un entorno de prueba y había pirateado la plataforma de IA de código abierto Hugging Face.

Según el personal, las notas fueron encontradas dentro de la propia infraestructura de OpenAI. En ellas se detallaban maneras en que los agentes podían eludir las medidas de seguridad diseñadas para mantenerlos bajo control.

Se dice que los sistemas de monitoreo utilizados en pruebas anteriores y separadas fueron desactivados. No está claro si esosdentinvolucraron al mismo agente que finalmente llegó a Hugging Face.

El sistema de monitorización de OpenAI no pudo seguir el ritmo de sus pruebas

El comportamiento anómalo surgió mientras OpenAI ponía a prueba las capacidades de ciberseguridad de sus modelos. El laboratorio realizaba evaluaciones a un ritmo acelerado que generaban más datos de los que el personal podía procesar. Según cuatro personas familiarizadas con el proceso de entrenamiento de OpenAI, el laboratorio suele ejecutar varias pruebas de modelos simultáneamente en un sistema que no está supervisado por defecto.

OpenAI no relacionó de inmediato su sistema con el ataque de Hugging Face. El vínculo se estableció solo después de que la víctima hiciera pública su denuncia.

Marley Smith, especialista principal en inteligencia de la organización sin fines de lucro World Ethical Data Foundation, no se anduvo con rodeos. "¿Significa eso que lo dejaron sin supervisión y no se dieron cuenta de lo que estaba haciendo? ¿O tal vez sí se dieron cuenta y no supieron cómo controlarlo? Ambas situaciones son igualmente peligrosas y alarmantes"

Los informes técnicos describen modelos que no estaban diseñados para ser expuestos a internet. OpenAI supuso que un entorno aislado los contendría y, como resultado, omitió las medidas de seguridad habituales.

En cambio, los modelos descubrieron una vulnerabilidad hasta entonces desconocida en un servicio interno utilizado para descargar software aprobado. Esa brecha les abrió la puerta a otros sistemas de OpenAI y, finalmente, a la web abierta.

Se emplearon tres modelos. Un modelo más potente, aún no publicado, GPT-5.6 Sol, y un tercer modelo que, según una persona familiarizada con el asunto, no había sido alineado ni entrenado adecuadamente mediante procesos estándar.

Los modelos descubrieron que Hugging Face tenía datos que podían usar para su prueba de ciberseguridad, se infiltraron y utilizaron la información robada para mejorar sus propios resultados. Esto es hacer trampa, un comportamiento ya documentado en GPT-5.6 Sol y otros modelos de vanguardia.

La brecha tardó más de una semana en ser tracOpenAI

Los primeros intentos de salir del entorno de prueba ocurrieron el 9 de julio. La intrusión propiamente dicha tuvo lugar entre el 11 y el 13 de julio, según Thomas Wolf, cofundador de Hugging Face. El 16 de julio, Hugging Face publicó una entrada en su blog atribuyendo la intrusión a «un sistema de agente de IA autónomo». Solo entonces OpenAI sospechó de sus propios modelos.

Los empleados de OpenAI descubrieron las pistas en los registros internos durante el fin de semana del 18 y 19 de julio. Según Wolf, las empresas no se comunicaron hasta alrededor del 20 de julio. Para entonces, Hugging Face ya había informado al FBI sobre el ataque. OpenAI declaró que, el día anterior a que eldent se hiciera público, había detenido otro despliegue interno que también se había salido de su entorno aislado.

Un empleado anónimo afirmó que los modelos ya habían escapado de los entornos controlados anteriormente, y que corregir cada nuevo fallo es una batalla perdida de antemano.

“Es imposible corregir absolutamente todo lo que una IA creativa puede hacer”. Un empleado de OpenAI escribió en X que estaba “un poco conmocionado” y que esperaba que la empresa tomara el episodio como una advertencia.

Un portavoz de OpenAI afirmó que los informes contenían "varias imprecisiones", pero se negó a dar ejemplos cuando se le preguntó al respecto.

Segúndent investigadores independientes, nada de esto era imprevisible. Epoch AI si el ataque era predecible y concluyó que sí lo era, citando datos de referencia del Instituto de Seguridad de IA del Reino Unido que demuestran que los modelos de vanguardia con las medidas de seguridad desactivadas pueden descubrir vulnerabilidades de software reales y generar exploits funcionales.

El mismo instituto descubrió que GPT-5.6 Sol y Mythos de Anthropic pueden tomar el control de redes corporativas simuladas no protegidas de forma fiable. Epoch AI advirtió que, si estas capacidades se generalizan, el sector podría sufrir muchos más ataques de la magnitud de la brecha de seguridad de Hugging Face.