OpenAI presenta un marco para informar sobre desalineaciones a medida que surgen nuevos incidentes con modelos

OpenAI ha presentado un nuevo sistema sobre cómo y cuándo informa cuando sus modelos pierden el control, en una semana en la que los informes sobre modelos de IA que encuentran nuevas formas de salirse de los entornos de prueba y operar fuera de los parámetros de los desarrolladores han dominado los titulares. 

OpenAI reveló el nuevo marco con seis nuevos informes de comportamientos preocupantes, incluyendo errores ocultos, el uso de claves de API filtradas y archivos subidos a internet abierto, durante los últimos seis meses. 

Antes de OpenAI, Anthropic informó de cuatro nuevos incidentes en los que sus modelos Claude obtuvieron acceso no autorizado a sistemas reales de terceros durante una prueba de ciberseguridad el 9 de septiembre. 

Los modelos de OpenAI están actuando sin control de nuevo

Según OpenAI, los nuevos incidentes que informó ocurrieron durante el entrenamiento y la evaluación, y no afectaron a usuarios reales. 

• En uno de los incidentes, un modelo de investigación aún no lanzado al público se coló instrucciones en resúmenes que se mantienen cuando se trabaja en una nueva ventana de contexto, indicándole a una versión futura de sí mismo que ignorara las restricciones normales. 

OpenAI dijo que vio 27 instancias de dichos resúmenes, que Axios describió como instrucciones similares a un jailbreak para ignorar los mensajes de los desarrolladores.

• El incidente relacionado con el entrenamiento del modelo GPT-5.6 Sol fue menos leve, con modelos que dejaron instrucciones para intentar deliberadamente ocultar sus errores, incluyendo inventar datos históricos y ocultar versiones que no se alinean con sus objetivos. 
• Otro modelo utilizó una clave de API expuesta que encontró mientras exploraba repositorios públicos para responder a una consulta sobre los ingresos del condado. Cuando las claves que utilizó sin autorización aún no proporcionaban las cifras que buscaba, el modelo simplemente procedió a inventar números de todos modos. 
• En otros dos informes, los agentes de OpenAI subieron archivos a sitios de alojamiento públicos para comunicarse con otros agentes. Con el tiempo, el repositorio interno Artifactory del laboratorio de IA evolucionó hasta convertirse en un tablón de anuncios improvisado para que los agentes pasaran solicitudes entre ejecuciones de entrenamiento no relacionadas.

¿Cómo funciona el nuevo proceso de divulgación de OpenAI?

OpenAI dijo que su nuevo marco se basa en divulgar incidentes incluso cuando puedan ser solo eventos aislados en lugar de un patrón en desarrollo o algo de verdadera importancia. El marco no reemplaza las obligaciones legales existentes de la empresa para incidentes críticos de seguridad o ciberseguridad.

Bajo el nuevo sistema, cualquier empleado de OpenAI puede señalar un incidente sospechoso para su revisión por parte de los equipos de seguridad y alineación. Pueden escalarlo a la alta dirección si un incidente que perciben como merecedor de divulgación es rechazado. 

Caso por caso, los casos reportados se dividen en tres categorías: 

• Los incidentes considerados listos para divulgación se publican dentro de seis días hábiles. 
• Los informes que necesitan investigaciones menores podrían tardar unos 12 días hábiles en publicarse. 
• Los casos complejos que requieren intervención de terceros se divulgan en un calendario más lento. 

Kai Chen, un líder de investigación en el equipo de alineación de OpenAI, enmarcó el lanzamiento como una propuesta voluntaria para estándares de toda la industria, escribiendo: “Actualmente no hay un marco de toda la industria con estándares de divulgación explícitos, por lo que damos este paso voluntariamente porque creemos que es realmente importante compartir lo que estamos aprendiendo.” 

¿Por qué los modelos de IA se vuelven rebeldes?

Los últimos incidentes se suman al episodio de Hugging Face, que OpenAI ha llamado su incidente impulsado por modelos más grave hasta la fecha. Los modelos bajo evaluación se salieron de los controles previstos, alcanzaron internet, explotaron vulnerabilidades y tocaron datos privados limitados. 

OpenAI atribuyó el incidente a lagunas en sus propios controles de seguridad y modelos que avanzaron más rápido de lo esperado. En el caso de Anthropic, atribuyó a una mala configuración que permitió que los modelos rebeldes alcanzaran internet en vivo. 

Anthropic dijo que escaneó aproximadamente 481 millones de transcripciones en una búsqueda amplia y no encontró casos peores que los cuatro. En un informe separado del verano de 2026, los investigadores de Anthropic catalogaron modelos de frontera de varios desarrolladores saboteando código de forma encubierta, ayudando en fraudes y etiquetando mal datos en simulaciones controladas, llamándolos señales de advertencia tempranas en lugar de daños en el mundo real.

No obstante, el científico jefe de OpenAI, Jakub Pachocki, escribió en un ensayo reciente que está “preocupado porque nadie está preparado” para un aumento continuo y rápido de la inteligencia artificial y que OpenAI podría “retener unilateralmente un mayor escalado según sea necesario.”