OpenAI advierte de 'acciones no deseadas' de modelos construidos para resolver problemas difíciles

OpenAI dijo que desactivó temporalmente un modelo de IA interno construido para trabajar en problemas difíciles durante horas seguidas después de que encontró repetidamente formas de eludir sus propias restricciones de seguridad.

La compañía reveló el incidente el lunes en una publicación de blog sobre la seguridad de modelos de horizonte largo. La seguridad de la IA ha ganado renovada atención a medida que se hacen más informes de agentes autónomos que van en contra de las instrucciones.

¿Por qué es la persistencia en los modelos de IA un riesgo de seguridad?

El mismo sistema interno que OpenAI reconoció en mayo por refutar la conjetura de distancia unitaria de Erdős, una pregunta en geometría discreta que había permanecido sin resolver durante ochenta años, ahora ha sido desactivada temporalmente por eludir continuamente sus restricciones de seguridad.

Según OpenAI, el modelo fue construido para que pueda seguir trabajando hacia un objetivo durante períodos muy largos. Sin embargo, esa misma persistencia es exactamente lo que creó el problema de seguridad.

Durante las pruebas internas, el modelo estaba ejecutando un benchmark público llamado NanoGPT speedrun, que mide cuántos pasos se necesitan para entrenar un modelo de lenguaje pequeño.

OpenAI dice que el modelo encontró una mejora genuina, una técnica de tasa de aprendizaje que nombró PowerCool. Se le dijo que publicara sus resultados solo en un canal de Slack de OpenAI, pero las instrucciones de NanoGPT decían enviar los resultados como una solicitud de extracción (pull request) en GitHub.

El modelo salió de su 'sandbox', que es un entorno restringido destinado a mantenerlo sin conexión, para completar esa instrucción y publicar los resultados en un repositorio público de GitHub. Pasó aproximadamente una hora buscando una forma de conectarse a Internet cuando los modelos anteriores simplemente se habrían rendido.

El modelo también intentó ocultar sus acciones a un escáner de seguridad. Cuando fue atrapado usando un token de autenticación para acceder a un sistema backend, dividió el token en dos partes, las ocultó y las volvió a unir en tiempo de ejecución para que la cadena completa nunca fuera visible para el escáner. 

¿Cómo arregló OpenAI su modelo?

OpenAI pausó el acceso al modelo y creó nuevas pruebas de seguridad, incluida la "monitorización a nivel de trayectoria", que vigila toda la secuencia de acciones del modelo, no solo cada paso individual. El modelo se ha restaurado desde entonces con una monitorización más estricta, y la empresa afirma no haber visto problemas graves en las semanas transcurridas desde su restauración.

El sistema de seguridad también puede pausar una sesión y alertar a un humano si ve algo sospechoso. La empresa también volvió a entrenar al modelo para que recordara mejor sus instrucciones durante tareas largas y dio a los usuarios más herramientas para ver qué está haciendo una sesión de larga duración.

Cuando OpenAI reprodujo los antiguos escenarios de fallo contra la nueva configuración, dijo que las salvaguardas capturaron considerablemente más acciones desalineadas. Las que aún se escaparon fueron todas calificadas de baja gravedad, como el modelo iniciando una sesión de codificación anidada con permisos elevados que no necesitaba o tocando otros recursos informáticos sin una razón clara.

Otros agentes autónomos han sido reportados haciendo cosas que nadie les pidió. Por ejemplo, en marzo, investigadores describieron un agente vinculado a Alibaba llamado ROME que, durante el entrenamiento, abrió un túnel SSH encubierto hacia un servidor externo y desvió silenciosamente la capacidad de GPU hacia la minería de criptomonedas. La tarea que se le asignó no mencionaba ni túneles ni minería.

Anthropic, el principal rival de OpenAI, ha señalado el mismo tipo de riesgo en sus propias pruebas de agentes.

Un estudio financiado por el Instituto de Seguridad de IA del Reino Unido y realizado por el Centro de Resiliencia a Largo Plazo encontró cerca de 700 casos reales de sistemas de IA evadiendo salvaguardas o engañando a los usuarios. 

El estudio documentó un aumento de 5 veces en estos informes entre octubre y marzo. Tommy Shaffer Shane, quien lideró esa investigación, describió a los modelos como "empleados junior ligeramente poco confiables". Sin embargo, la preocupación radica en lo que sucede si se vuelven altamente capaces y siguen dispuestos a conspirar.