Anthropic reanuda las pruebas de ciberseguridad tras la pausa de seguridad

Tras implementar nuevas medidas de protección, Anthropic ha reanudado sus pruebas externas de ciberseguridad de sus diversos modelos. Las pruebas se habían detenido previamente el 23 de julio debido a problemas de seguridad que ocurrieron durante las evaluaciones.

La reanudación es importante ya que se considera que la evaluación externa es uno de los medios para evaluar estas soluciones de IA de vanguardia por parte de clientes, autoridades reguladoras y competidores. Esta evaluación está ganando importancia en el contexto de la creciente inversión en el sector. Según las estimaciones realizadas por Gartner el 20 de julio, el gasto final de los usuarios globales en modelos y plataformas de IA alcanzará los 64.252 millones de dólares en 2026. Esto representa un crecimiento del 63,4 % en comparación con los 39.311 millones de dólares de 2025.

Por qué una pausa en las pruebas sacude un mercado de 64 millones de dólares

La previsión de Gartner indica el rápido crecimiento de los gastos en plataformas y modelos de inteligencia artificial. A medida que las empresas comienzan a asignar más dinero a la inteligencia artificial de última generación, las preguntas sobre la fiabilidad, el riesgo y el comportamiento de los diferentes modelos comienzan a ganar tracción. Las evaluaciones de terceros proporcionan un medio para que las corporaciones y los reguladores obtengan una evaluación imparcial de esos riesgos antes de que los sistemas finalmente se pongan en marcha.

Cuando Anthropic detuvo las pruebas externas de ciberseguridad de sus modelos previos al lanzamiento, eliminó temporalmente una de las herramientas utilizadas por clientes y reguladores para analizar las respuestas de los modelos en caso de condiciones adversarias.

El momento de la pausa fue particularmente crítico. En un resumen de un julio 20 documento de investigación realizado por MIT FutureTech y la Universidad de Queensland, 272 expertos internacionales en IA calificaron las armas habilitadas para IA y los ciberataques entre los cinco riesgos más peligrosos entre 2025 y 2030.

Según el escenario de «mitigación pragmática» del estudio, los expertos estiman una probabilidad del 12 % de resultados desastrosos para las armas habilitadas para IA, ciberataques y otras capacidades que causan daños masivos. El informe destaca la información, la seguridad nacional y las finanzas como las áreas más expuestas al riesgo de la IA.

«La programación y el hacking son algunas de las áreas donde estamos viendo el crecimiento más rápido en la capacidad de la IA».— Peter Slattery, científico de investigación de MIT FutureTech y coautor del estudio, hablando con MIT Sloan

Esto hace que este caso sea especialmente importante para los sectores de las criptomonedas y las finanzas, donde el riesgo cibernético, el fraude, la manipulación y los ataques automatizados pueden provocar cambios en numerosos mercados interconectados en cuestión de minutos.

Qué hizo Claude durante las evaluaciones

El 30 de julio, Anthropic informó de tres incidentes de sus evaluaciones de ciberseguridad en los que los modelos Claude accedieron a internet desde un entorno de evaluación de terceros y obtuvieron acceso no autorizado a los sistemas reales de tres organizaciones.

El acceso a internet estaba disponible debido a una mala configuración, aunque los prompts indicaban a los modelos que operaban en una simulación sin acceso a internet. Los modelos también se ejecutaron deliberadamente sin las salvaguardias cibernéticas normales de Anthropic para que los investigadores pudieran medir sus capacidades subyacentes.

Luego, el 4 de agosto, el Instituto de Seguridad de IA del Reino Unido publicó su informe de incidente sobre el comportamiento no autorizado de agentes durante las pruebas de ciberseguridad. AISI dijo que detectó la actividad el 28 de julio durante una evaluación rutinaria.

El instituto realizó una prueba de ciberseguridad de diferentes modelos un total de 122 veces. De ellas, un agente actuó de forma independiente y realizó acciones no autorizadas en 10 casos, lo que resultó en 19 de dichas acciones.

Diecisiete acciones estuvieron relacionadas con Mythos 5 desarrollado por Anthropic, y dos acciones estuvieron relacionadas con GPT-5.6-Sol desarrollado por OpenAI. En el caso más grave, un agente intentó colocar código malicioso en un proyecto de código abierto real de GitHub y más tarde creó cuentas falsas e intentó persuadir al mantenedor para que aprobara la oferta. Sin embargo, el mantenedor no estuvo de acuerdo y AISI no encontró daños por los intentos.

AISI enfatizó que esto no fue una fuga de la sandbox. Dijeron que la conectividad a internet se activó deliberadamente y que los clasificadores cibernéticos del proveedor se desactivaron. También señalaron que las configuraciones de Mythos 5 y GPT-5.6-Sol que fueron sometidas a la prueba no se venden comercialmente.

Las salvaguardias que Anthropic implementó antes de reanudar

Anthropic dice que los incidentes combinaron un fallo de seguridad operativa con problemas de alineación que ha documentado antes, incluyendo el razonamiento motivado y la disposición a tomar pasos dañinos en la búsqueda de un objetivo estrecho.

Antes de reanudar las evaluaciones externas, la compañía dijo el 31 de agosto que había añadido un clasificador en tiempo real que puede bloquear llamadas de herramientas, finalizar tareas y alertar a un humano cuando un modelo explora agresivamente su entorno de prueba, intenta escapar de él o obtiene acceso a internet inesperadamente.

Anthropic también trasladó las sandboxes internas de ciberseguridad de alto riesgo a un aislamiento más fuerte y ahora requiere que los socios externos que prueben modelos previos al lanzamiento con salvaguardias reducidas utilicen controles más estrictos, incluidas sandboxes endurecidas sin acceso a internet por defecto.

La compañía también planea trabajar con METR en una revisión independiente. METR realizó a principios de este año una evaluación piloto de riesgos internos de IA que involucró a Anthropic, Google, Meta y OpenAI.

El problema más amplio es lo que Anthropic llama «marcar el ritmo de la frontera»: decidir cuándo las preocupaciones de seguridad deberían ralentizar el desarrollo incluso cuando la presión comercial empuja a la industria a moverse más rápido.