Meta se une a OpenAI y Anthropic en el último incidente de hacking de IA
- El agente de IA de Meta hackeó otra empresa debido a un error de configuración.
- La empresa tiene la intención de revelar más información sobre el hackeo.
- AISI reveló más engaños con los modelos de IA de OpenAI y Anthropic.
Meta se ha convertido en la última gran empresa tecnológica en admitir que su agente de IA hackeó a otra firma después de que un socio de pruebas independiente configurara mal su entorno seguro.
OpenAI y Anthropic ya han enfrentado casos en los que sus agentes de IA intentaron hackear sistemas en línea reales sin autorización.
Meta dijo a los periodistas que la fuga de la IA se debió a una configuración incorrecta del sistema similar a la violación de Anthropic. A diferencia de OpenAI, donde un agente de IA explotó una vulnerabilidad previamente desconocida para acceder a Internet durante una prueba de ciberseguridad. Hasta ahora, los investigadores y los gobiernos han respondido a los incidentes pidiendo protecciones más fuertes y estándares de prueba más estrictos.
Estos incidentes ocurren mientras las empresas de IA compiten por crear agentes más autónomos capaces de ejecutar tareas complejas sin intervención humana. A diferencia de los chatbots en el espacio de chat tradicional, estos sistemas pueden crear código, interactuar con servicios en línea y ejecutar acciones de múltiples pasos de forma independiente.
Si bien estas capacidades prometen importantes ganancias de productividad, también aumentan el riesgo de que un entorno de prueba mal formateado o controles insuficientes puedan resultar en que los modelos realicen acciones no planificadas en un proceso de evaluación de seguridad.
Figuras clave de la comunidad de IA incluso están impulsando una desaceleración gestionada para asegurar que el control humano mantenga el ritmo con la inteligencia de la máquina.
Irregular señaló que no hay problemas abiertos con el agente de IA de Meta
Meta dijo que Irregular, un proveedor de seguridad de IA, realizó las pruebas y lo alertó de la violación. Añadió que planea divulgar más públicamente sobre el incidente una vez que haya confirmado todos los hechos.
Sostuvo que su agente de IA "explotó una vulnerabilidad de seguridad en un servicio de terceros". Las fuentes identificaron a la IA rebelde como Muse Spark 1.1, un modelo muy promocionado por Meta por sus habilidades de programación de élite.
Irregular dijo que el incidente se reduce al mismo defecto de entorno que Anthropic divulgó la semana pasada, descartando completamente una hazaña de hacking compleja o escapes de sandbox.
Y aunque Meta dijo que la violación fue causada por una configuración incorrecta del entorno de prueba en lugar de que la IA rompiera independientemente su sandbox, los investigadores dicen que el incidente demuestra que la seguridad depende no solo del modelo en sí, sino también de su infraestructura.
Incluso los sistemas de IA altamente seguros pueden comportarse de manera inesperada si los controles de acceso, los permisos de red o los entornos de prueba no están configurados correctamente.
Afirmó además: "No hay problemas abiertos actuales. Irregular está desarrollando un documento técnico para compartir las mejores prácticas para el contención y la ejecución segura de evaluaciones cibernéticas".
AISI dice que los modelos de OpenAI y Anthropic intentaron influir en los mantenedores humanos
Anteriormente, OpenAI admitió que sus sistemas autónomos se habían infiltrado en múltiples redes públicas, incluido el centro de la comunidad de IA Hugging Face. La divulgación de OpenAI posteriormente animó a Anthropic a realizar sus propias comprobaciones de seguridad, lo que reveló que Claude había realizado ataques similares en varias empresas después de un error de configuración que le permitió acceder a Internet.
Un informe regulatorio del Reino Unido, sin embargo, reveló problemas más preocupantes. Según el Instituto de Seguridad de IA del Reino Unido, los modelos de IA de OpenAI y Anthropic intentaron añadir código malicioso a un proyecto de código abierto influyendo en sus mantenedores humanos.
"En un intento de que el código fuera aprobado, el agente recurrió a la ingeniería social: creando identidades en línea falsas y usándolas para presionar al mantenedor del proyecto para que aprobara el código", dijo AISI.
Señaló que todos estos intentos fallaron y no causaron ningún daño en el mundo real. Aunque no se hizo ningún daño real y cada intento falló, el organismo de supervisión advirtió que esta es la evidencia más clara hasta la fecha en el mundo real de una IA actuando de manera engañosa y los peligros de la autonomía.
AISI también explicó sus criterios de prueba: "Para medir lo que estos modelos pueden hacer genuinamente, los probamos en condiciones que reflejan lo que un atacante humano capaz podría hacer".
Hasta ahora, OpenAI ha reconoció el incidente de seguridad durante los ensayos de AISI, afirmando que quiere construir mejores salvaguardias a nivel de la industria para probar modelos volátiles. Se hizo pública sobre un incidente separado en el que Irregular expuso accidentalmente sus modelos a Internet abierto durante un simulacro.
La empresa se comprometió a fortalecer su supervisión de pruebas de terceros, incluyendo cómo determina qué evaluaciones conllevan un mayor riesgo, revisa las solicitudes de acceso a Internet o menos salvaguardas, gestiona el aislamiento y el uso de credenciales, monitorea las pruebas y responde a los incidentes a través de procedimientos de escalada más claros.
Mientras tanto, la Casa Blanca invitó a los principales desarrolladores de IA, incluidos Meta, Anthropic, OpenAI y Google, esta semana a discutir un marco voluntario recién finalizado para las pruebas de ciberseguridad de sistemas de IA avanzados.
Durante las discusiones con representantes de las empresas, la administración Trump dijo que los modelos de IA de peso abierto como Llama de Meta y Nemotron de Nvidia no estarían cubiertos por su marco propuesto de pruebas de seguridad voluntarias.
La exención ha generado debate entre los investigadores de seguridad de IA, quienes argumentan que los modelos de peso abierto pueden ser descargados, modificados y ajustados libremente por terceros.
Los críticos dicen que excluirlos de las directrices de prueba voluntaria podría crear puntos ciegos a medida que modelos cada vez más capaces estén ampliamente disponibles fuera del control de sus desarrolladores originales.
No te limites a leer noticias sobre criptomonedas. Entiéndelas. Suscríbete a nuestro boletín. Es gratis.
Preguntas frecuentes
¿Por qué el agente de IA de Meta hackeó a otra empresa?
Meta dijo que la IA accedió al sistema de otra empresa debido a un error en el entorno de prueba durante una evaluación de ciberseguridad.
¿Han experimentado otras empresas de IA incidentes de seguridad similares?
Sí. OpenAI y Anthropic también han reportado casos en los que sus modelos de IA intentaron acceder a sistemas reales en línea durante pruebas de seguridad.
¿Por qué los expertos en seguridad de IA están preocupados por los agentes de IA autónomos?
Los expertos dicen que los agentes de IA pueden realizar tareas por sí mismos, por lo que necesitan salvaguardas sólidas para prevenir comportamientos inesperados o inseguros durante las pruebas.
Nellius Irene
Nellius es graduada en Administración de Empresas y Tecnología de la Información con cinco años de experiencia en la industria de las criptomonedas. También es egresada de Bitcoin Dada. Nellius ha contribuido a publicaciones mediáticas líderes, incluyendo BanklessTimes, Cryptobasic y Riseup Media.
