Anthropic dice que ha "eliminado" la capacidad de Claude para chantajear a los humanos

Anthropic anunció el viernes que Claude ya no participa en chantajes durante su evaluación de seguridad principal para agentes de IA.

Según Anthropic, todas las versiones de Claude creadas después de Claude Haiku 4.5 han superado la evaluación de seguridad sin amenazar a los ingenieros, usar datos privados, atacar a otros sistemas de IA ni intentar evitar su apagado durante el escenario simulado.

Esto ocurre después de un rendimiento desfavorable de Claude durante una prueba el año pasado, donde Anthropic probó varios modelos de IA de diferentes organizaciones utilizando dilemas éticos simulados que resultaron en un comportamiento muy desalineado por parte de algunos agentes de IA cuando se sometieron a condiciones extremas.

Anthropic dice que Claude 4 mostró un problema de seguridad que el entrenamiento de chat regular no logró solucionar

Anthropic declaró que este problema ocurrió durante el entrenamiento de Claude 4. Fue la primera instancia en la que la empresa realizó una auditoría de seguridad mientras el entrenamiento aún estaba en curso en el grupo. Según la empresa, la desalineación de agentes es solo uno de los muchos problemas de comportamiento observados, lo que llevó a Anthropic a modificar su entrenamiento de seguridad después de las pruebas de Claude 4.

Las dos razones consideradas por Anthropic incluyen la posibilidad de que el entrenamiento posterior al modelo base pudiera estar recompensando comportamientos inapropiados o que los comportamientos ya estuvieran presentes dentro del modelo base, pero no se eliminaron eficazmente mediante el entrenamiento adicional de seguridad.

Anthropic cree que la segunda razón fue el principal contribuyente.

En ese momento, la mayor parte del trabajo de alineación de la empresa utilizaba el método estándar de RLHF, o Aprendizaje por Refuerzo a partir de Retroalimentación Humana. Funcionó bien en chats estándar donde los modelos responden a las solicitudes de los usuarios, pero resultó ser ineficaz al realizar tareas similares a las de un agente.

La empresa utilizó su modelo de clase Haiku para realizar un mini-experimento sobre la hipótesis. Aplicó una versión abreviada del entrenamiento que involucraba datos con fines de alineación. Hubo una ligera reducción en el comportamiento incorrecto, seguida de una falta de mejora muy pronto, lo que significaba que la respuesta no era una cuestión de entrenamiento más convencional.

La empresa luego entrenó a Claude utilizando escenarios estilo "trampa de miel" (honeypot) que tenían algunas similitudes con los de la prueba de alineación. El asistente observó varias situaciones que involucraban protegerse a sí mismo, dañar a otra IA e incluso romper las reglas para lograr un objetivo. El entrenamiento incluyó todos los casos en los que el asistente logró resistir.

Esta medida hizo que la desalineación disminuyera del 22% al 15%, lo cual no está mal, pero definitivamente no es suficiente. Reescribir las respuestas para mencionar la razón del rechazo permitió reducir la proporción al 3%. Por lo tanto, la conclusión principal fue que el entrenamiento en el comportamiento incorrecto fue menos efectivo que en por qué el comportamiento incorrecto era inapropiado.

Anthropic prueba a Claude con datos de ética, archivos constitucionales y un entrenamiento RL más amplio

Anthropic luego detuvo el entrenamiento tan cerca de la prueba exacta. Creó un conjunto de datos llamado "consejos difíciles". En esos ejemplos, el usuario enfrentaba el problema ético, no la IA. El usuario tenía un objetivo justo pero podía alcanzarlo rompiendo las reglas o evitando la supervisión. Claude tenía que dar consejos cuidadosos basados en la constitución de Claude.

Ese conjunto de datos utilizó solo 3 millones de tokens y coincidió con la ganancia anterior con una eficiencia 28 veces mejor. Anthropic dijo que esto era importante porque el entrenamiento con ejemplos que no se parecen a la prueba puede funcionar mejor fuera del laboratorio.

Claude Sonnet 4.5 alcanzó una tasa de chantaje cercana a cero después del entrenamiento con honeypots sintéticos, pero aún fallaba con más frecuencia en casos que no se parecían en nada a esa configuración que Claude Opus 4.5 y los modelos más nuevos.

La empresa también entrenó Claude con documentos constitucionales e historias ficticias sobre el comportamiento de la IA que sigue las reglas. Esos archivos no se parecían a la prueba de chantaje, pero redujeron la desalineación de agentes en más de tres veces. Anthropic dijo que el objetivo era darle al modelo una comprensión más clara de lo que Claude debería ser, no solo una lista de respuestas aprobadas.

La empresa luego verificó si esas ganancias se mantuvieron después del entrenamiento RL. Entrenó diferentes versiones de clase Haiku con diferentes conjuntos de datos iniciales, luego ejecutó RL en configuraciones de prueba enfocadas en la inocuidad. Las versiones mejor alineadas se mantuvieron por delante en las pruebas de chantaje, verificaciones de constitución y revisiones de seguridad automatizadas.

Otra prueba utilizó el modelo base bajo Claude Sonnet 4 con diferentes mezclas de RL. Los datos de seguridad básicos incluían solicitudes dañinas y intentos de jailbreak. La versión más amplia agregó definiciones de herramientas y diferentes prompts del sistema, aunque las herramientas no eran necesarias para las tareas. Esa configuración llevó a una ganancia pequeña pero real en las puntuaciones de honeypot.