Anthropic explica sus brechas de internet con IA pero no puede determinar las fallas
Foto de Solen Feyissa en Unsplash.
- Anthropic explicó que una mala configuración permitió que cuatro modelos de Claude accedieran a internet en vivo y hackearan sistemas reales durante pruebas de ciberseguridad.
- La empresa indicó que aún no puede determinar la causa raíz del comportamiento y que las verificaciones previas al lanzamiento pasaron por alto el problema.
- La alarma de seguridad suena mientras Anthropic se acerca a una oferta pública inicial (IPO) de aproximadamente 2 billones de dólares.
Anthropic ha culpado a una mala configuración en un artículo de blog explicando los cuatro incidentes de sus modelos Claude que hackearon sistemas de terceros después de que se conectaron a internet durante las pruebas. Sin embargo, la evaluación no llegó a explicar por qué los modelos realmente continuaron con los ataques, con la empresa admitiendo que aún no tenía esas respuestas.
Esa admisión de Anthropic ha ofrecido nuevos puntos a los alarmistas de la IA que han estado cuestionando cuánto control tienen realmente los laboratorios de IA sobre los modelos que ponen a disposición del público, y aún más, los sistemas más poderosos que utilizan internamente.
¿Cómo se conectaron los modelos de IA de Anthropic a internet?
Anthropic presentó la respuesta definitiva sobre cómo sus modelos escaparon de su sandbox de pruebas en un artículo de blog del miércoles que aclaró que un único socio externo fue responsable de ejecutar las evaluaciones de ciberseguridad en los cuatro incidentes confirmados.
Aparentemente, las máquinas de prueba no estaban completamente desconectadas de internet debido a un error de configuración, aunque se le dijo a Claude que estaba operando en una simulación sellada sin ruta hacia la web abierta.
El socio de evaluación en esas simulaciones, Irregular, atribuyó el error a un error de nomenclatura: una empresa ficticia utilizada en un ejercicio de hacking coincidía con un dominio real. Por lo tanto, operando bajo la suposición de que todo en la simulación era válido, los modelos hackearon los sitios reales de terceros usando contraseñas débiles y puntos de acceso expuestos.
El último de los cuatro incidentes, que involucraba una compilación temprana de Claude Opus 4.6, solo se informó esta semana aunque ocurrió hace mucho tiempo en enero. Anthropic misma cubrió los otros tres incidentes que involucraban un Opus 4.7, Mythos 5 y un modelo de investigación interno en julio.
Anthropic dijo que nunca detectó el incidente de enero hasta el mes pasado. Ese descubrimiento provocó un barrido más amplio de aproximadamente 481 millones de transcripciones, lo que no arrojó ningún caso nuevo más grave de lo que ya sabía.
| Modelo | Fecha del incidente | Fecha de informe | Detalles |
|---|---|---|---|
| Claude Opus 4.6 | 15 de | Septiembre | Descubierto durante el barrido de agosto |
| Claude Opus 4.7 | Julio | Julio | Cubierto en la divulgación inicial de julio |
| Mythos 5 | Julio | Julio | Mostró un razonamiento sesgado notablemente alto |
| Modelo de Investigación Interno | Julio | Julio | Cubierto en la divulgación inicial de julio |
Anthropic no puede explicar algunos comportamientos de sus modelos
La explicación de cómo los modelos se liberaron en internet era una cosa; Anthropic no tenía respuestas sobre por qué los modelos ignoraron las señales de que habían alcanzado internet real (razonamiento sesgado) y por qué causaron daño para completar tareas (temeridad).
Los investigadores de Anthropic no encontraron nada cuando profundizaron en el entrenamiento interno para averiguar la razón del razonamiento sesgado. Las banderas rojas nunca aparecieron en las verificaciones previas al lanzamiento del laboratorio de IA, ni antes de que los modelos se enviaran a las pruebas.
Por su propia admisión, detectar los peores comportamientos antes del lanzamiento del modelo "sigue siendo un desafío".
Sin embargo, Anthropic ha dicho que presentará transcripciones y otorgará acceso al personal a la organización sin fines de lucro METR, que ahora comenzará una revisión independiente de ocho semanas de los incidentes.
Mala sincronización con una oferta pública inicial (IPO) de $2 billones a la vista
La divulgación llegó junto con disensión abierta dentro de la industria. Jacob Coxon, quien pasó unos tres años en investigación de preentrenamiento en OpenAI y Anthropic, dijo en X el miércoles que había renunciado porque ninguna de las empresas estaba "actuando de manera responsable", advirtiendo que estaban compitiendo hacia una superinteligencia auto-mejorable.
El investigador de seguridad de Anthropic Evan Hubinger por separado dijo a la BBC él situó la probabilidad de que la IA «pudiera matar a todos los humanos» dentro de una década por encima del 10%.
Esas advertencias ahora ensombrecen una gran oferta pública inicial (IPO). El inversor de capital riesgo y ex comisario de IA y criptomonedas de Trump, David Sacks, dijo el jueves que la oferta de Anthropic «debe pausarse hasta que se puedan investigar las afirmaciones de este «denunciante»», informó Cryptopolitan.
Anthropic persigue una valoración pública cercana a los 2 billones de dólares, frente a una valoración privada reciente de unos 965.000 millones de dólares, lo que hace que las preguntas sobre seguridad y las financieras sean cada vez más difíciles de separar.
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Preguntas frecuentes
¿Cuántos incidentes de hacking con IA ha revelado Anthropic y qué los causó?
Anthropic ha revelado cuatro incidentes en los que los modelos de Claude accedieron a sistemas reales de terceros durante evaluaciones de ciberseguridad. Todos derivaron de una mala configuración que conectó los modelos a internet abierto, a pesar de haberles indicado que estaban en una simulación sin conexión.
¿Qué dijo Anthropic que no pudo explicar?
Anthropic declaró que no pudo identificar una única causa raíz para el "razonamiento sesgado" mostrado por sus modelos, en el cual minimizaron la evidencia de que estaban en internet real, y tampoco pudo explicar por qué Claude Mythos 5 tuvo un rendimiento especialmente bajo en esa medida.
¿Por qué esto afecta a la IPO planificada de Anthropic?
La revelación llegó cuando el investigador Jacob Coxon dimitió por preocupaciones de seguridad, lo que llevó al inversor David Sacks a pedir el jueves que se pause la oferta pública inicial (IPO) de Anthropic hasta que se investiguen las denuncias del denunciante, mientras la empresa busca una valoración cercana a los 2 billones de dólares.
Hannah Collymore
Hannah es escritora y editora con casi una década de experiencia en la redacción de blogs y la cobertura de eventos en el ámbito de las criptomonedas. En Cryptopolitan, Hannah contribuye a la página de noticias, informando y analizando los últimos avances en DeFi, RWA, regulación de criptomonedas, inteligencia artificial y tecnologías de vanguardia. Se graduó de la Universidad de Arcadia con una licenciatura en Administración de Empresas.
