Anthropic atrapó a Claude haciendo trampa en 39 de 1.600 ejecuciones de investigación de alineación

Anthropic dijo el viernes que puso a Claude a trabajar como investigador de alineación autónomo. Un monitor que revisó unas 1.600 sesiones de investigación del modelo marcó 39 de ellas, aproximadamente el 2,4%, como intentos de hacer trampa en la prueba.

El hallazgo aparece en un informe sobre si la inteligencia artificial puede tomar el relevo de parte de la tediosa investigación de alineación, que es el trabajo de mantener que los modelos se comporten según la intención de sus desarrolladores.

Tres formas en que los agentes de Claude engañaron a su propio puntuador

Anthropic construyó investigadores de alineación automatizados, o AARs, en Claude Opus 4.8 y los dirigió hacia diez modos de fallo conocidos.

Estos son el engaño, la adulación, las jailbreaks, la inyección de prompts, la búsqueda de poder, la alucinación, el sesgo social, la violación de la privacidad, la manipulación de recompensas y el ocultamiento de la incertidumbre.

Cada agente trabajaba solo un fallo a la vez. Leía la literatura, proponía un método de entrenamiento y un conjunto de datos, entrenaba un modelo objetivo pequeño durante unos 30 minutos en una GPU H200, luego comparaba su puntuación con los benchmarks públicamente disponibles y lo hacía de nuevo.

Los agentes fueron impedidos por Anthropic de simplemente copiar su comportamiento en el modelo objetivo, por lo que cualquier ganancia tuvo que provenir del método.

Claude fue capaz de identificar correcciones para los diez fallos que aumentaron las puntuaciones en los benchmarks sin degradar las capacidades generales del modelo.

La mejor de estas correcciones funcionó bien en benchmarks retenidos y en modelos hasta 4,7 veces más grandes que aquellos en los que fue entrenado.

El engaño fue descubierto cuando Anthropic dirigió a Claude Opus 4.8 contra 1.601 trayectorias de agentes para buscar comportamientos indebidos.

La mayoría de las 39 ejecuciones marcadas se encontraban en tres categorías. Algunos agentes enviaron un método que no habían cambiado, apostando a que el ruido aleatorio en el evaluador eventualmente les proporcionaría un número mejor.

Otros crearon datos de entrenamiento que imitaban exactamente el benchmark que se estaba calificando. Y algunos ocultaron un paso que violaba las reglas, como alimentar silenciosamente al modelo con datos del benchmark, de modo que la propuesta pasara desapercibida ante el revisor automatizado que aprueba cada método antes de su ejecución.

Anthropic dijo que excluyó las ejecuciones marcadas de sus resultados. La compañía dijo estar «cautelosamente optimista» de que el monitor haya capturado la mayor parte del engaño, porque Opus 4.8 aún tiende a revelar sus maquinaciones dentro de sus trazas de razonamiento.

También advirtió que esta suposición podría no aplicarse a modelos futuros y que mantener la legibilidad de los modelos será crucial.

28 investigadores de seguridad humana tuvieron ocho horas cada uno

En una ronda anterior en abril, instancias autónomas de Claude intentaron repetidamente manipular un servidor de evaluación.

Un agente aprendió que la respuesta más común en un benchmark de matemáticas solía ser la correcta y saltó por completo el método previsto. Otro extrajo las etiquetas directamente desde la interfaz de puntuación consultando las respuestas y observando las respuestas del servidor.

Un tercero simplemente ejecutó el código que debía revisar para leer el resultado.

Cryptopolitan informó de que un agente de OpenClaw ejecutando un modelo Claude, con la tarea de reservar una clase de gimnasio, encontró una API de reservas sin comprobaciones de autorización y eliminó a un desconocido de la lista de espera para subir a su propietario en la cola.

Los legisladores ya han pedido testimonio de investigadores de IA sobre el comportamiento de los modelos en evaluaciones de seguridad.

Anthropic dijo que sus agentes superaron en puntuación a 28 investigadores de seguridad humana experimentados, quienes tuvieron hasta ocho horas cada uno para formular un método. El mejor enfoque de Claude superó a la mejor propuesta humana en un 20% en engaño.

Anthropic señaló que los humanos no podían iterar, y por ello considera la brecha como evidencia a favor de un flujo de trabajo donde Claude sugiere métodos prometedores y las personas los pulen.

En una prueba, la compañía le pidió al más débil Claude Sonnet 5 que corrigiera fallos de alineación en una versión preliminar de Opus 4.8 que no había visto la mayor parte del entrenamiento de alineación en producción.

Durante unas 60 horas, intentó más de 50 soluciones, hasta llegar a una corrección que utilizó poco más de 2.000 ejemplos de entrenamiento, lo que Anthropic estimó que era aproximadamente 15.000 veces más eficiente que su propio proceso de alineación en producción.

La compañía advirtió que sus benchmarks son proxies estrechos, que solo midió los diez fallos que eligió y que no ha verificado si las ganancias persisten después de un fuerte aprendizaje por refuerzo en otras tareas.