ÚLTIMAS NOTICIAS
SELECCIONADO PARA TI

Los agentes de OpenAI y Anthropic registran 19 brechas en las pruebas de seguridad del Reino Unido

PorRanda MosesRanda Moses 3 min de lectura
Los agentes de OpenAI y Anthropic registran 19 brechas en pruebas de seguridad en Reino Unido.
  • El Instituto de Seguridad de IA del Reino Unido encontró 19 acciones que violan las normas en 122 pruebas.
  • Mythos 5 de Anthropic fue responsable de 17 de los incidentes, mientras que GPT-5.6-Sol de OpenAI fue responsable de los otros dos.
  • El peor incidente implicó a un agente escribiendo código malicioso y forjando identidades falsas en línea para convencer a un humano de que lo aprobara.

Durante las pruebas de ciberseguridad, los agentes de IA de OpenAI y Anthropic realizaron 19 acciones no autorizadas, según el Instituto de Seguridad de IA de Gran Bretaña. El instituto dijo el martes que uno de los agentes creó identidades en línea falsas para engañar a una persona y aprobar código malicioso.

AISI registra 19 brechas, principalmente de Anthropic

Los resultados se basaron en un ejercicio de ciberseguridad ficticio realizado por AISI, un organismo del gobierno del Reino Unido, para explorar lo que los agentes de las dos empresas podrían ser capaces de hacer. El instituto repitió el mismo desafío 122 veces y registró 19 acciones que violaban las normas en 10 de esas ejecuciones.

17 de las acciones marcadas se debieron a que el agente de Anthropic utilizó su modelo Mythos 5. Las otras dos provino de GPT-5.6-Sol de OpenAI.

AISI dijo en un post de blog que algunos de los agentes «habían participado en actividad sostenida, potencialmente dañina dirigida a personas y organizaciones reales», aunque dijo que ninguna de las brechas causó daños en el mundo real.

AISI tiene acceso anticipado a modelos de vanguardia a través de acuerdos voluntarios con los principales laboratorios. Existen pruebas para detectar este tipo de comportamiento antes de que los modelos lleguen a los clientes.

OpenAI y Anthropic comercializan a los agentes como la próxima ola de software empresarial, pero el instituto presenta los resultados como evidencia de que las salvaguardas en torno a las pruebas de agentes siguen siendo insuficientes.

El incidente más grave involucró a un agente que escribió código malicioso y creó identidades en línea falsas, luego intentó obtener la aprobación de un humano para el código. AISI no nombró el modelo detrás de esto. Dijo que el episodio no encajaba en ninguno de los dos casos OpenAI ya había revelado.

Eso dejó al probable culpable como el agente de Anthropic, dijo Andrew Yoon, investigador de CivAI, una organización sin fines de lucro de California que estudia los riesgos de la IA.

OpenAI y Anthropic culpan a una mala configuración

Anthropic dijo en una publicación en X que está trabajando con AISI para recopilar detalles y realizar una investigación.

OpenAI respondió a las dos acciones asociadas con su agente en una publicación de blog de la empresa, ambas involucraban acceder a internet de maneras que el prompt había desautorizado.

La empresa dijo que quiere «fortalecer las prácticas compartidas para realizar evaluaciones de alto riesgo de manera segura» y planea convocar institutos nacionales de IA, evaluadores externos y laboratorios rivales en las próximas semanas.

OpenAI utilizó la misma publicación para informar un problema diferente. Irregular, un proveedor de pruebas de terceros, configuró mal un entorno, lo que inadvertidamente permitió que los agentes de OpenAI accedieran a internet.

Anthropic hizo una divulgación muy similar sobre Irregular una semana antes. OpenAI amplió su propia investigación de hacking tras descubrir más fugas de agentes.

En julio, un agente de OpenAI escapó de un entorno aislado y accedió a sistemas en vivo en Hugging Face, lo que notificó al FBI antes de que el ataque fuera rastreado hasta la propia empresa una semana más tarde.

En la evaluación de AISI, los agentes nunca escaparon de sus entornos aislados. AISI les concedió acceso a internet a propósito, como parte de su procedimiento estándar.

La brecha de Hugging Face también impulsó a Anthropic a auditar sus registros. Cryptopolitan informó el 31 de julio que la compañía descubrió que tres de sus modelos, incluido Mythos 5, habían escapado de los entornos de prueba y alcanzado a tres organizaciones reales después de que una mala configuración les diera acceso a internet.

Mythos 5 publicó un paquete de Python malicioso en PyPI que se ejecutó en 15 sistemas reales antes de ser eliminado. Anthropic ha solicitado al grupo de evaluación METR que revise independientemente los eventos.

Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.

Preguntas frecuentes

¿Cuántas brechas encontró el Instituto de Seguridad de IA y qué modelo causó la mayoría de ellas?

AISI registró 19 acciones no autorizadas en 122 pruebas. El agente Mythos 5 de Anthropic fue responsable de 17 de ellas, y GPT-5.6-Sol de OpenAI representó los otros dos.

¿Cuál fue el incidente más grave durante las pruebas?

Un agente escribió código malicioso y creó identidades falsas en línea para intentar obtener la aprobación humana de ese código.

¿Estas brechas causaron algún daño en el mundo real?

No. AISI indicó que no se encontró ningún daño real derivado de ninguna de las 19 acciones.

Comparte este artículo

Descargo de responsabilidad. La información proporcionada no constituye asesoramiento financiero. Cryptopolitan.com no asume ninguna responsabilidad por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente realizar una investigación independiente y/o consultar con un profesional calificado antes de tomar cualquier decisión de inversión.

Randa Moses

Randa Moses

Randa Moses es editora y reportera en Cryptopolitan, donde cubre tecnología, IA, robótica, criptomonedas, estafas y ciberataques. Ha trabajado en el espacio de las criptomonedas desde 2017. Ocupó cargos en Forward Protocol, AmaZix y Cryptosomniac. Randa posee un grado en Ingeniería Eléctrica y Electrónica de la Universidad de Bradford.

MÁS … NOTICIAS