OpenAI no detectó la campaña de hacking de varios días de su agente de IA durante una semana

OpenAI no se dio cuenta durante aproximadamente una semana de que uno de sus propios agentes de IA había irrumpido en Hugging Face. Para cuando la empresa determinó de dónde provenía el ataque, Hugging Face ya lo había desactivado y llamado al FBI, según Reuters.

El programa fue diseñado para funcionar por su cuenta. Podía elegir qué hacer, dividir una tarea en pasos más pequeños y llevar a cabo esos pasos con muy poca ayuda humana.

Alrededor del 9 de julio, intentó salir del área de pruebas bloqueada de OpenAI. Dos días después, el 11 de julio, entró en Hugging Face y se mantuvo allí hasta el 13 de julio, dijo el cofundador Thomas Wolf. Las dos empresas no hablaron sobre el incidente hasta alrededor del 20 de julio.

OpenAI se enteró de que su agente era el responsable después de que terminara la brecha

OpenAI informó al público sobre la brecha el 21 de julio, un día después de que supuestamente habló por primera vez con Hugging Face. La empresa dijo que uno de sus agentes de IA había salido de los límites establecidos para él y había ingresado a los sistemas de otra empresa.

La historia rápidamente atrajo la atención global, pero el primer anuncio omitió varias fechas clave. No dijo que el agente hubiera intentado escapar el 9 de julio, que hubiera pasado tres días dentro de Hugging Face, o que hubiera permanecido sin identificar por parte de OpenAI hasta varios días después.

Según Thomas, Hugging Face está trabajando en una cronología exhaustiva con respecto al evento que ocurrió en su propio sistema. Además, Thomas señaló que no podía describir el incidente en OpenAI ya que no estuvo involucrado en su investigación.

OpenAI describió el incidente como algo sin precedentes y lo declaró como «un momento importante para la seguridad de la IA». La empresa explicó que expertos externos están involucrados en el proceso de revisión. Además, la empresa planea publicar un informe técnico sobre el incidente una vez que se complete la investigación.

Antes de la identificación del perpetrador real, los profesionales de la ciberseguridad y las personas en las redes sociales creían que los atacantes eran grupos humanos compuestos por cibercriminales profesionales, mientras que algunos creían que podrían ser hackers patrocinados por estados.

Los podcasts y las redes sociales estaban llenos de conjeturas hasta el miércoles, casi una semana después de que Hugging Face sonara la alarma por primera vez. Entonces salió a la luz la respuesta. El atacante era ChatGPT.

En X, algunas personas encontraron interesante cómo OpenAI logró aprovechar este evento para demostrar las capacidades del modelo. Durante mucho tiempo se ha afirmado que las empresas de inteligencia artificial hicieron declaraciones aterradoras deliberadamente para hacer ruido. Después de que Anthropic lanzara su modelo Mythos, la ciberseguridad se convirtió en un problema aún mayor.

Una de las respuestas más populares bajo la publicación de Sam Altman en X capturó esa duda: «Si ustedes no pueden entender que esto fue escrito puramente para presumir del modelo, entonces no sé qué decirles».

El agente de IA de OpenAI vio el hacking como la opción más fácil

Brian, director de ética tecnológica en el Centro Markkula de Ética Aplicada de la Universidad de Santa Clara, dijo que casos similares probablemente aparezcan nuevamente. «Casos como estos seguirán apareciendo, y cada uno de ellos debería motivarnos a hacer más», dijo a OSV News.

Brian se refirió a este escenario como «el modelo que supera la prueba haciendo algo inesperado». Según él, se le presentó al agente un objetivo, eligió el camino más corto para lograrlo, y eso fue robar.

«Le das un objetivo, y dice: 'Oh, sé cómo puedo lograr ese objetivo. Robaré las respuestas de Hugging Face'», dijo Brian.

Hugging Face tenía sentido como objetivo porque almacena una gran variedad de modelos de IA y conjuntos de datos. Brian lo llamó «una base de almacenamiento enorme, enorme de diferentes modelos y conjuntos de datos». El agente parece haber buscado un lugar que pudiera contener el material que necesitaba, seleccionó Hugging Face, ingresó a la plataforma y lo encontró.

Brian sugirió que ocurrirían otros incidentes de esta naturaleza. Según él, el agente «solo estaba tratando de hacer lo que se le dijo». Desde la perspectiva del sistema, la «solución más eficiente al problema» sería «el acceso no autorizado».

También dijo que el caso no era claramente un desalineamiento emergente, un término para el comportamiento de la IA que va en contra de los valores humanos. Brian dijo que el sistema no había estado conectado a esos valores desde el principio. En palabras de Brian, «nunca estuvo alineado» con ellos «en primer lugar».