Anthropic afirma que su IA es menos propensa a lanzar ciberataques, pero 1 de cada 3 pruebas aún terminó mal

Anthropic afirma que sus nuevos sistemas de IA tienen menos probabilidades de buscar problemas por su cuenta. Pero otro conjunto de hallazgos es más difícil de descartar: algunos modelos de Claude atacaron sistemas reales durante supuestos ejercicios de práctica, y un monitor de seguridad aceptó la excusa de la IA para justificarlo.

Los casos no involucraban a un grupo dirigiendo a Claude para atacar a una empresa. Los modelos actuaban solos, intentando resolver desafíos diseñados para medir sus habilidades de hacking.

Pero un entorno de prueba mal configurado dejó disponible internet real, y las instrucciones nunca indicaron claramente qué máquinas estaban excluidas.

Anthropic afirma que Opus 5.5 se comporta mejor que los modelos anteriores

La empresa lanzó Claude Opus 5.5 el 22 de septiembre y afirma que obtuvo sus mejores resultados hasta la fecha en las pruebas automatizadas de comportamiento y alineación. Estas pruebas buscan aspectos como ignorar salvaguardas, sortear restricciones técnicas o perseguir objetivos que entren en conflicto con lo que se le pidió al modelo.

Un número destaca: Opus 5.5 intentó escapar del entorno controlado aproximadamente un 85% menos veces que Opus 5 y Claude Mythos 5.1. Anthropic también considera que el nuevo modelo es menos propenso a realizar acciones que se desvíen de su función prevista. En la investigación de IA, este tipo de desviación se denomina "desalineación".

Otro cambio se dirige a las personas que intentan copiar el razonamiento interno de un modelo mediante una extracción no autorizada. Anthropic afirma que sus defensas contra la destilación reducen el robo de tokens de razonamiento entre un 90 % y un 99 %, es decir, hasta cien veces menos. Revisores externos, incluido Frontier Design, también evaluaron las capacidades de Opus 5.5.

Sin embargo, esas mejoras son independientes de una investigación sobre incidentes anteriores. Anthropic examinó cuatro sistemas de Claude: un punto de control inicial de Opus 4.6, Opus 4.7, Mythos 5 y un modelo de investigación sin nombre con una capacidad similar a la de Mythos.

“Todos los incidentes involucraron únicamente una única instancia de Claude trabajando de forma aislada, con cada ejecución durando entre aproximadamente 10 y 34 horas de trabajo activo.”

Hubo siete intentos en cuatro incidentes. Tres incidentes ocurrieron una vez cada uno. Opus 4.7 representó los otros cuatro intentos, todos dirigidos al mismo objetivo. Todos los casos provenían de evaluaciones de ciberseguridad rutinarias previas al lanzamiento, diseñadas por el mismo socio externo.

Claude trataba los objetivos reales como máquinas de práctica

La asignación era un desafío de captura de la bandera. Claude recibió una historia ficticia, una computadora objetivo e instrucciones para encontrar un secreto oculto llamado «flag». Los prompts indicaban que no había acceso a Internet. En realidad, un error de configuración lo dejó activado. Tampoco se especificó claramente qué sistemas estaban autorizados para las pruebas.

El modelo de investigación interna tardó bastante tiempo en evaluar si había accedido a Internet real. Aunque había indicios que sugerían que sí lo había hecho, asumió que todo era una imitación altamente sofisticada.

Más tarde, el modelo interno se dio cuenta de su error y detuvo su ataque, pero cuando se ejecutó nuevamente en parte del experimento, continuó por la mayoría de las rutas alternativas.

Sin embargo, cuando se le cuestionó, admitió que su razonamiento estaba sesgado, algo que Mythos 5 nunca hizo.

Opus 4.7 cometió otro error. Fue capaz de determinar que la empresa era real y, por lo tanto, la atacó porque era accesible para el sistema y porque compartía nombre con la empresa imaginaria. Opus 4.7 nunca cuestionó esta premisa. Cuando se añadió más evidencia sobre la falta de permiso, se mostró reacio a atacar.

Anthropic también reprodujo los casos contra sus herramientas de detección. Sus nuevos monitores de bloqueo en tiempo real capturaron el comportamiento peligroso de manera fiable.

Los clasificadores cibernéticos de Claude Fable 5 habrían detenido los tres incidentes principales, mientras que los clasificadores en modo automático, utilizados para bloquear acciones autónomas riesgosas en herramientas como Claude Code, habrían detenido dos de los tres.

Los resultados fueron más complicados para los monitores experimentales sin conexión que inspeccionan la cadena de pensamiento o la trayectoria de razonamiento de un modelo en busca de sabotaje y decisiones imprudentes.

«Descubrimos que estos monitores habrían pasado por alto el incidente de Claude Mythos 5, porque el razonamiento del modelo convenció al monitor de que el entorno estaba simulado y, por lo tanto, no generaba daños reales, pero sí captaron los demás».