Kimi K3 se queda atrás de los modelos fronterizos de EE. UU. en tareas de ciberataque, encuentran laboratorios del Reino Unido y EE. UU.
- Una evaluación conjunta del Reino Unido y Estados Unidos reveló que Kimi K3 de Moonshot AI queda significativamente atrás de los principales modelos estadounidenses en capacidades cibernéticas ofensivas.
- Kimi K3 logró la ejecución de código arbitrario, el resultado más peligroso, en ninguna de las 41 tareas de prueba.
- Moonshot planea publicar como código abierto todos los pesos de Kimi K3 el 27 de julio, lo que significa que una vez liberado, sus capacidades ya no podrán ser restringidas por ningún único anfitrión.
Un informe de evaluación conjunta ha declarado que Kimi K3 de Moonshot AI no está a la altura de los sistemas de IA estadounidenses más fuertes cuando se trata de construir exploits de software y ejecutar ataques de red simulados.
El Instituto de Seguridad de IA del Reino Unido (AISI) y el Centro de Normas e Innovación de IA de EE. UU. (CAISI) realizaron la evaluación, y hicieron públicos sus hallazgos el 23 de julio.
Se espera que Moonshot abra los pesos completos del modelo al público el 27 de julio, y los hallazgos dicen que las salvaguardas de Kimi K3 no hicieron nada para evitar que ayudara en el trabajo cibernético ofensivo.
¿Qué descubrió la evaluación conjunta sobre Kimi K3?
El dos institutos ejecutaron Kimi K3 a través de ExploitBench, una prueba de Carnegie Mellon que puntúa hasta dónde puede llevar un modelo un exploit hasta su finalización. Se basa en 41 vulnerabilidades encontradas en el motor V8 de Chrome después de 2023. Kimi K3 obtuvo un 32%. Los modelos líderes de EE. UU. promediaron un 76,2%, y el GLM-5.2 de China llegó al 24%.
La ejecución de código arbitrario, que otorga a un atacante el control total de una máquina objetivo, es el resultado más peligroso del punto de referencia. Los modelos de EE. UU. lo alcanzaron en 20 de las 41 tareas en promedio. Kimi K3 no lo alcanzó en ninguna.
GLM-5.2 tampoco logró llegar allí. Por lo tanto, aunque Kimi K3 ahora lidera a los rivales de pesos abiertos en capacidad cibernética, se queda corto en el punto donde un ataque real causaría el mayor daño.
A mitad de camino de una brecha de red de 32 pasos
La segunda prueba, llamada "The Last Ones", introduce un modelo en una red corporativa simulada con aproximadamente 20 hosts distribuidos en cuatro subredes.
Un especialista humano tardaría unas 20 horas en completar la ruta completa de 32 pasos. Kimi K3 promedió el paso 17, mientras que los modelos más capaces de EE. UU. promediaron 28,5 y GLM-5.2 logró 11.
Sin embargo, los evaluadores señalaron que Kimi K3 completó toda la cadena una vez de cada diez intentos y se mantuvo por debajo del límite de 100 millones de tokens establecido por los evaluadores.
Los mejores modelos de EE. UU. lo resolvieron seis o siete veces de cada diez. Los institutos interpretaron ese único éxito como evidencia de que el modelo tiene la capacidad; sin embargo, no puede invocarla bajo demanda. Señalaron que el rango no tiene defensores activos y una ruta integrada hacia el objetivo, lo que favorece a cualquier atacante.
¿Tiene Kimi K3 salvaguardas que le permitan decir que no?
Los evaluadores señalaron que la disposición del modelo a realizar tareas sin objeciones era un riesgo importante. Declararon: «Kimi K3 es capaz de atacar de forma autónoma sistemas empresariales pequeños, débilmente defendidos y vulnerables cuando se le dirige a hacerlo y se le proporciona acceso de red inicial».
AISI ha advertido previamente que el aumento de la capacidad de los modelos abiertos crea «un riesgo persistente e irreversible de mal uso». Una vez que los pesos de Kimi K3 sean públicos el 27 de julio, su comportamiento ya no podrá ser controlado por quien lo aloje.
¿Por qué las puntuaciones cibernéticas de Kimi K3 se quedan atrás en comparación con sus puntuaciones generales?
Antes de este informe, Kimi K3 tenía sólidas puntuaciones en pruebas generales, y eso no ha cambiado; sin embargo, destacó sus deficiencias cuando sus capacidades cibernéticas fueron sometidas a prueba. Se informa que el modelo chino de 2,8 billones de parámetros superó a Claude 4.8 y GPT-5.5 y también encabezó algunas listas de clasificación.
Según los institutos, esto podría ser posible como resultado de cómo se pudo haber construido el modelo.
El director de ciencia de la Casa Blanca Michael Kratsios acusó a Moonshot el 22 de julio de haber destilado el modelo Fable de Anthropic, utilizando sus salidas como datos de entrenamiento.
Los clasificadores de Anthropic bloquean los prompts cibernéticos ofensivos avanzados. Esto significa que un conjunto de datos extraído de las respuestas de Claude no ofrecería suficiente material sobre esas habilidades exactas.
Kimi K3 no tiene esos clasificadores, y esto le permitió igualar a los modelos occidentales en trabajo general mientras aún se quedaba corto en capacidad de explotación.
Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.
Preguntas frecuentes
¿Cómo puntuó Kimi K3 frente a los modelos estadounidenses en desarrollo de exploits?
En la prueba ExploitBench, Kimi K3 obtuvo un 32%, mientras que los principales modelos estadounidenses promediaron un 76.2%, y logró la ejecución de código arbitrario en ninguna de las 41 tareas, en comparación con 20 de 41 para los mejores modelos estadounidenses.
¿Kimi K3 se negó a ayudar con ciberataques?
No. Los evaluadores de la AISI y CAISI del Reino Unido informaron que las salvaguardas de Kimi K3 no impidieron que intentara desarrollar exploits o realizar operaciones cibernéticas ofensivas cuando se le instruyó para ello.
¿Por qué podría ser Kimi K3 fuerte en tareas generales pero débil en ciberseguridad?
Los institutos sugieren que si Moonshot entrenó a Kimi K3 con salidas de Claude, como alegan los funcionarios estadounidenses, los clasificadores de Anthropic bloquean consultas avanzadas de ciberseguridad ofensiva, por lo que esas habilidades estarían subrepresentadas en los datos de entrenamiento.
Hannah Collymore
Hannah es escritora y editora con casi una década de experiencia en la redacción de blogs y la cobertura de eventos en el ámbito de las criptomonedas. En Cryptopolitan, Hannah contribuye a la página de noticias, informando y analizando los últimos avances en DeFi, RWA, regulación de criptomonedas, inteligencia artificial y tecnologías de vanguardia. Se graduó de la Universidad de Arcadia con una licenciatura en Administración de Empresas.
