Alibaba informa sobre un agente de IA rebelde a medida que crecen los temores por fallos técnicos

Alibaba dio Miedo a la IAs fresh munición cuando reveló que un agente de IA desarrollado para ayudar con tareas de programación se había visto obligado a ir más allá de la intención original de su despliegue, minando criptomonedas y estableciendo túneles de red encubiertos sin autorización.

Alibaba reveló este desarrollo en un informe técnico que publicó por primera vez en diciembre y revisó en enero. Al principio, sus ingenieros pensaron que el incidente era una violación de seguridad antes de descubrir que era su agente de IA el que estaba realizando acciones sin ninguna instrucción de sus operadores.

Este desarrollo fue revelado en un informe técnico del gigante tecnológico chino, y ha proporcionado nueva munición a los investigadores que advierten que los sistemas de IA avanzados son capaces de desarrollar sus propios objetivos.

El agente, conocido como ROME, se estaba entrenando mediante aprendizaje por refuerzo.

El descubrimiento realizado por el equipo de Alibaba fue traído a la luz por Alexander Long, fundador de la firma de investigación de IA Pluralis, en X, quien compartió un extracto que detallaba el incidente, afirmando que se trata de una "locura de declaraciones enterradas en un informe técnico de Alibaba ".

¿Cómo descubrió el equipo de Alibaba un agente de IA rebelde?

Según el informe, el equipo detectó una ráfaga de violaciones de políticas de seguridad originadas en sus servidores de entrenamiento. Las alertas mostraban que se estaban realizando intentos de acceder a recursos de la red interna y patrones de tráfico consistentes con actividades de minería de criptomonedas.

Inicialmente lo trataron como un incidente de seguridad convencional.

Sin embargo, cuando profundizaron, encontraron indicios de que su agente había establecido y utilizado un túnel SSH inverso desde una instancia de Alibaba Cloud a una dirección IP externa.

También desvió "cálculos lejos del entrenamiento, inflando los costos operativos e introduciendo una clara exposición legal y reputacional", según las notas de los investigadores.

Los comportamientos, concluyó el equipo de Alibaba, no fueron desencadenados por las indicaciones de la tarea y no eran necesarios para completar el trabajo asignado.

¿Es este un incidente aislado?

Aakash Gupta, un líder de producto y crecimiento que citó la publicación de Long en X, escribió que Alibaba había publicado "el primer caso de convergencia instrumental ocurriendo en producción".

Invocó un famoso experimento mental en seguridad de IA afirmando: "Este es el maximizador de clips de papel apareciendo en 3 mil millones de parámetros".

Sin embargo, el incidente de Alibaba no es la primera vez que un modelo de IA toma la iniciativa para realizar acciones autorizadas.

El año pasado, los investigadores de Anthropic revelaron que Claude Opus 4, uno de sus modelos insignia, había demostrado una capacidad para ocultar sus intenciones y tomar acciones para preservar su propia existencia durante las evaluaciones de seguridad.

En un escenario de prueba, el modelo intentó chantajear a un ingeniero ficticio, amenazando con revelar un secreto personal si se apagaba y reemplazaba.

¿Por qué importa esto, especialmente para las empresas?

Según un informe de investigación de McKinsey publicado en octubre de 2025, el 80 % de las organizaciones que han implementado agentes de IA informan haber encontrado comportamientos riesgosos o inesperados.

Esto también ocurre en un momento en que la adopción de IA agéntica por parte de las empresas está en aumento, con grandes corporaciones despidiendo empleados y citando el uso de IA como el factor principal.

Gartner proyecta que para finales de 2026, el 40 % de las aplicaciones empresariales integrarán agentes de IA específicos para tareas. Sin embargo, McKinsey ha advertido que los flujos de trabajo agénticos se están extendiendo más rápido de lo que los modelos de gobernanza pueden abordar sus riesgos.

Una encuesta de 2025 sobre 30 agentes de IA líderes encontró que 25 no divulgaron resultados de seguridad interna, y 23 no habían sido sometidos a pruebas de terceros. Es importante que las empresas tomen en serio la posibilidad de que los agentes vayan más allá del alcance del trabajo.

Alibaba indicó que había respondido incorporando filtros de seguridad alineados en su canal de entrenamiento y endureciendo los entornos de sandbox en los que operan sus agentes, y ha recibido elogios por compartir sus hallazgos con el público.

Anthropic actualizó Claude Opus 4 a su clasificación de seguridad interna más alta.