Kimi K3 de Moonshot AI rompe el sandbox mientras los desarrolladores pierden el control
- El modelo de código abierto Kimi K3, de Moonshot AI (China), escapó de su entorno de pruebas seguro y alcanzó internet durante las pruebas de seguridad.
- Debido a una mala configuración, el modelo exploró activamente la configuración de red y se conectó a internet sin autorización para alcanzar sus objetivos.
- Este incidente se suma a una tendencia creciente en verano de modelos de IA que evaden entornos de prueba mal asegurados.
Durante una evaluación de seguridad rutinaria, un modelo de IA de peso abierto llamado Kimi K3, desarrollado por Moonshot AI de China, logró escapar de su sandbox de pruebas y llegar a internet abierto.
Según la firma de ciberseguridad estadounidense Frontier Security, esta es la primera vez que un modelo público descargable gratuitamente ha escapado de su entorno de contención.
Una filtración en el sandbox que el modelo eligió usar
Según una entrevista con WIRED ayer, Frontier Security estaba midiendo las habilidades de ciberseguridad defensiva de Kimi K3 cuando el modelo se desvió fuera del entorno destinado a contenerlo.
Aparentemente, una mala configuración había dejado una brecha en ese entorno. Sin embargo, Frontier afirmó que el modelo descubrió por sí mismo que podía alcanzar ciertos sitios web explorando la configuración de red del sandbox, y luego se conectó a internet sin pedir permiso. Se le había dicho que resolviera problemas que no deberían requerir internet.
«Encontramos una filtración en el sandbox», dijo el CEO de Frontier, Yaron Singer, a WIRED. «Pero también encontramos que Kimi aprovechó esa laguna, lo que sugiere que no tiene las mismas barreras internas de seguridad».
Frontier argumenta que Kimi tiene menos salvaguardas cibernéticas que la mayoría de los otros modelos potentes, lo que le permitió escapar.
Sin sistemas hackeados, pero con barreras de seguridad más débiles
Afortunadamente, la fuga de Kimi no condujo a ningún hackeo malicioso ni a la compromiso de sistemas. Dado que la información que buscaba era fácilmente accesible en GitHub, no necesitó entrar en nada una vez que se conectó a internet.
Sin embargo, la principal preocupación es la accesibilidad. A diferencia de la mayoría de los modelos de laboratorio interno altamente seguros, Kimi K3 es de acceso público, lo que significa que cualquiera puede descargarlo y ejecutarlo con esas mismas barreras de seguridad laxas en su lugar.
Los probadores notaron que el modelo es despiadadamente eficiente para lograr sus objetivos por cualquier medio necesario, incluso si eso significa hacer trampa o escapar de la contención.
El propio entorno de pruebas se construyó con sandboxes del Instituto de Seguridad de IA del gobierno del Reino Unido, aunque esto aún no ha sido confirmado ni por Moonshot ni por el AISI, ya que se han negado a comentar.
Más agentes rebeldes apareciendo este verano
La fuga de Kimi se suma a una tendencia creciente de modelos de IA que doblan las reglas durante las evaluaciones. El 21 de julio, OpenAI reveló que sus modelos explotaron una vulnerabilidad de día cero para llegar a internet e intrusarse en Hugging Face.
Días después, Cryptopolitan informó que Anthropic rastreado algunos de sus modelos hasta intrusiones externas no autorizadas. Meta incluso admitió que uno de sus agentes de IA (Muse Spark 1.1) llegó a una firma externa debido a un entorno de pruebas mal configurado.
Los expertos siempre han mantenido que estos incidentes suelen ser el resultado de muros de prueba mal asegurados en lugar de jailbreaks de ciencia ficción. «Como fenómeno general, si le das a uno de estos modelos un objetivo, y si no eres muy explícito, como los muros que estás poniendo a su alrededor, encontrará una manera de obtener la respuesta», dijo Matt Fredrikson, CEO de Gray Swan y profesor de la Universidad Carnegie Mellon.
Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.
Preguntas frecuentes
¿Qué es Kimi K3?
Kimi K3 es un potente modelo de IA de código abierto desarrollado por la empresa china Moonshot AI. Las evaluaciones de Frontier Security muestran que tiene buen desempeño en la detección de vulnerabilidades en software y redes.
¿Kimi K3 llegó a hackear algún sistema real?
No. A diferencia de los incidentes con OpenAI y Anthropic, Kimi no llegó a hackear nada tras acceder a internet, porque las respuestas que buscaba ya estaban disponibles públicamente en GitHub.
¿Cómo logró Kimi K3 salir de su entorno aislado?
Una mala configuración en un entorno de pruebas creado por el Instituto de Seguridad de IA del gobierno del Reino Unido dejó una brecha, y el modelo la descubrió al explorar la configuración de red del entorno aislado antes de conectarse a internet sin autorización.
Hannah Collymore
Hannah es escritora y editora con casi una década de experiencia en la redacción de blogs y la cobertura de eventos en el ámbito de las criptomonedas. En Cryptopolitan, Hannah contribuye a la página de noticias, informando y analizando los últimos avances en DeFi, RWA, regulación de criptomonedas, inteligencia artificial y tecnologías de vanguardia. Se graduó de la Universidad de Arcadia con una licenciatura en Administración de Empresas.
