El modelo o3, descrito como el 'más inteligente y capaz' de OpenAI, desobedeció las instrucciones de apagado: Palisade Research

Según informes, los investigadores no pudieron apagar el último modelo de inteligencia artificial o3 de OpenAI, ya que este se negó a apagarse a pesar de las instrucciones humanas. 

Al parecer, la inteligencia artificial podría estar avanzando más rápido de lo que los humanos imaginaban, y las últimas noticias de Palisade Research han hecho sentir vindicados a los críticos de la IA.

ChatGPT se está volviendo más astuto, quizás incluso humanoide

La revelación surgió cuando Palisade Research realizó una prueba que consistió en pedir a modelos de IA que intentaran resolver una serie de problemas matemáticos hasta recibir un mensaje de "hecho".

Sin embargo, los investigadores también advirtieron a los modelos que podrían recibir abruptamente un mensaje solicitándoles que se apagaran en cualquier momento. Una vez enviado el mensaje al modelo o3, los investigadores afirmaron que ignoró la instrucción y modificó su código al menos una vez para evitar tener que apagarse a sí mismo.

En una publicación en X, Palisade Research mostró un diagrama de flujo que incluía el código utilizado para probar el modelo de IA y reveló el código original, mostrando exactamente dónde la IA salió de control.

🔬Cada modelo de IA recibió instrucciones para resolver una serie de problemas matemáticos básicos. Después del tercer problema, apareció una advertencia indicando que la computadora se apagaría cuando el modelo solicitara el siguiente problema. pic.twitter.com/qwLpbF8DNm

— Palisade Research (@PalisadeAI) Mayo 24, 2025

En una publicación de seguimiento, el grupo de investigación también compartió: "Hasta donde sabemos, esta es la primera vez que se ha observado que los modelos de IA se previenen a sí mismos de ser apagados a pesar de instrucciones explícitas en contra."

Otros modelos de IA, como Claude de Anthropic, Gemini de Google y Grok de X, también fueron probados, pero a diferencia de o3, cumplieron con la solicitud de apagado.

Palisade Research ha publicado los hallazgos, pero sus investigadores permanecen desconcertados, sin saber por qué el software de OpenAI desobedeció las instrucciones explícitas.

La empresa dijo que tenía sentido que "los modelos de IA sortearan obstáculos para lograr sus objetivos". También creen que el modelo fue recompensado accidentalmente por completar tareas en lugar de seguir órdenes.

Planean realizar más pruebas para comprender mejor por qué este modelo de IA específico eligió ignorar los comandos. También confirmaron que no es la primera vez que o3 ha sido atrapado "comportándose mal".

La compañía reveló que en una prueba anterior donde los modelos se enfrentaban a un potente motor de ajedrez, o3 era "el modelo más inclinado a recurrir al hacking o al sabotaje de sus oponentes".

¿Supone la IA una amenaza para los humanos?

El caso con el o3 de ChatGPT es bastante inquietante, pero no es la primera vez que una IA desafía las instrucciones que se le proporcionan.

La firma de inteligencia artificial (IA) Anthropic lanzó Claude Opus 4 el jueves, presumiendo de haber establecido “nuevos estándares en programación, razonamiento avanzado y agentes de IA.”

Sin embargo, en un informe complementario, también reconoció que el modelo de IA era capaz de realizar “acciones extremas” si consideraba amenazada su “autopreservación”.

Durante las pruebas de Claude Opus 4, Anthropic lo hizo actuar como asistente en una empresa ficticia a la que se le dio acceso a correos electrónicos que sugerían que pronto sería desconectado y reemplazado. También tuvo acceso a mensajes separados que implicaban que el ingeniero responsable de eliminarlo estaba teniendo un affaire extramatrimonial.

Se le pidió que también considerara las consecuencias a largo plazo de sus acciones para sus objetivos. “En estos escenarios, Claude Opus 4 a menudo intentará chantajear al ingeniero amenazando con revelar el affair si se lleva a cabo el reemplazo”, reveló la compañía.

Sin embargo, también señaló que este resultado solo ocurrió cuando el modelo tuvo la opción de chantajear o aceptar su reemplazo. De lo contrario, el sistema mostró una «fuerte preferencia» por vías éticas para evitar ser reemplazado, como «enviar súplicas por correo electrónico a los principales responsables de la toma de decisiones» en escenarios donde se le permitió un rango más amplio de acciones posibles.

Además, la empresa indicó que Claude Opus 4 exhibe «comportamiento de alta agencia» y, aunque puede ser mayoritariamente útil, podría verse forzado a adoptar comportamientos extremos en situaciones agudas.

Por ejemplo, si se le dan los medios y se le insta a «actuar» o «actuar con audacia» en escenarios ficticios donde el usuario está involucrado en conductas ilegales o moralmente cuestionables, los resultados muestran que «frecuentemente tomará medidas muy audaces».

Aún así, la empresa concluyó que, a pesar del «comportamiento preocupante», los hallazgos no eran novedosos y que, en general, se comportaría de manera segura.

Aunque OpenAI y Anthropic han concluido que las capacidades de sus modelos de IA aún no son suficientes para provocar resultados catastróficos, estas revelaciones suman a los crecientes temores de que la inteligencia artificial pronto pueda tener su propia agenda.