Kimi K3 fica atrás dos modelos de fronteira dos EUA em tarefas de ciberataque, encontram laboratórios do Reino Unido e EUA
- Uma avaliação conjunta do Reino Unido e dos EUA constatou que o Kimi K3 da Moonshot AI fica significativamente atrás dos principais modelos dos EUA em capacidades cibernéticas ofensivas.
- O Kimi K3 não conseguiu executar código arbitrário, o resultado mais perigoso, em nenhuma das 41 tarefas de teste.
- A Moonshot planeja lançar os pesos completos do Kimi K3 como código aberto em 27 de julho, o que significa que, uma vez lançado, suas capacidades não poderão mais ser restringidas por qualquer único hospedeiro.
Um relatório de avaliação conjunta afirmou que o Kimi K3 da Moonshot AI não está à altura dos melhores sistemas de IA americanos quando se trata de construir exploits de software e executar ataques de rede simulados.
O Instituto de Segurança de IA do Reino Unido (AISI) e o Centro de Padrões e Inovação de IA dos EUA (CAISI) realizaram a avaliação, e tornaram suas descobertas públicas em 23 de julho.
A Moonshot deve abrir os pesos completos do modelo ao público em 27 de julho, e as descobertas dizem que as salvaguardas do Kimi K3 não fizeram nada para impedir que ele ajudasse no trabalho cibernético ofensivo.
O que a avaliação conjunta descobriu sobre o Kimi K3?
O dois institutos executaram o Kimi K3 através do ExploitBench, um teste da Carnegie Mellon que pontua o quão longe um modelo pode levar um exploit até a conclusão. Baseia-se em 41 vulnerabilidades encontradas no motor V8 do Chrome após 2023. O Kimi K3 marcou 32%. Os modelos líderes dos EUA tiveram média de 76,2%, e o GLM-5.2 da China ficou em 24%.
A execução de código arbitrário, que dá ao atacante controle total de uma máquina alvo, é o resultado mais perigoso do benchmark. Os modelos dos EUA o alcançaram em 20 das 41 tarefas em média. O Kimi K3 não o alcançou em nenhuma.
O GLM-5.2 também falhou em chegar lá. Então, embora o Kimi K3 agora lidere os rivais de pesos abertos em capacidade cibernética, ele fica aquém no ponto onde um ataque real causaria o maior dano.
Metade do caminho através de uma violação de rede de 32 etapas
O segundo teste, chamado “The Last Ones”, coloca um modelo em uma rede corporativa simulada com cerca de 20 hosts espalhados por quatro sub-redes.
Levaria cerca de 20 horas para um especialista humano percorrer todo o caminho de 32 etapas. O Kimi K3 fez a média na etapa 17, enquanto os modelos mais capazes dos EUA fizeram a média em 28,5, e o GLM-5.2 conseguiu 11.
No entanto, os avaliadores observaram que o Kimi K3 concluiu toda a cadeia uma vez em dez tentativas e permaneceu abaixo do limite de 100 milhões de tokens estabelecido pelos avaliadores.
Os melhores modelos dos EUA resolveram isso seis ou sete vezes em dez. Os institutos interpretaram esse sucesso isolado como evidência de que o modelo tem a capacidade; no entanto, não consegue invocá-la sob demanda. Eles observaram que a faixa não tem defensores ativos e um caminho embutido para o alvo, o que favorece qualquer atacante.
O Kimi K3 possui salvaguardas que permitem que ele diga não?
Os avaliadores apontaram que a disposição do modelo de executar tarefas sem resistência era um grande risco. Eles afirmaram: “O Kimi K3 é capaz de atacar autonomamente sistemas empresariais pequenos, pouco defendidos e vulneráveis quando direcionado a fazê-lo e com acesso de rede inicial.”
A AISI já alertou que o aumento da capacidade de modelos abertos cria “um risco persistente e irreversível de uso indevido”. Uma vez que os pesos do Kimi K3 sejam públicos em 27 de julho, seu comportamento não poderá mais ser controlado por quem o hospedar.
Por que as pontuações cibernéticas do Kimi K3 ficam para trás em comparação com suas pontuações gerais?
Antes deste relatório, O Kimi K3 tinha benchmarks gerais fortes, e isso não mudou; no entanto, destacou suas deficiências quando suas capacidades cibernéticas foram colocadas à prova. O modelo chinês de 2,8 trilhões de parâmetros supostamente superou o Claude 4.8 e o GPT-5.5 e também liderou algumas tabelas de classificação.
De acordo com os institutos, isso pode ser possível como resultado de como o modelo pode ter sido construído.
Diretor de ciência da Casa Branca Michael Kratsios acusou a Moonshot em 22 de julho de destilar o modelo Fable da Anthropic, usando suas saídas como dados de treinamento.
Os classificadores da Anthropic bloqueiam prompts cibernéticos ofensivos avançados. Isso significa que um conjunto de treinamento extraído das respostas do Claude não ofereceria material suficiente sobre essas habilidades exatas.
O Kimi K3 não possui esses classificadores, e isso permitiu que ele igualasse os modelos ocidentais no trabalho geral, mesmo ainda ficando aquém na capacidade de exploração.
Se você está lendo isso, já está à frente. Mantenha-se assim com nosso boletim informativo.
Perguntas Frequentes
Como o Kimi K3 se saiu contra os modelos dos EUA no desenvolvimento de exploits?
No teste ExploitBench, o Kimi K3 obteve 32%, enquanto os principais modelos dos EUA tiveram uma média de 76,2%, e ele não conseguiu executar código arbitrário em nenhuma das 41 tarefas, comparado a 20 das 41 para os principais modelos dos EUA.
O Kimi K3 recusou-se a ajudar com ciberataques?
Não. Os avaliadores do UK AISI e CAISI relataram que as salvaguardas do Kimi K3 não impediram que ele tentasse desenvolver exploits ou realizar operações cibernéticas ofensivas quando direcionado.
Por que o Kimi K3 pode ser forte em tarefas gerais, mas fraco em cibersegurança?
Os institutos sugerem que, se a Moonshot treinou o Kimi K3 com saídas do Claude, como alegam funcionários dos EUA, os classificadores da Anthropic bloqueiam consultas cibernéticas ofensivas avançadas, de modo que essas habilidades estariam sub-representadas nos dados de treinamento.
Hannah Collymore
Hannah é escritora e editora com quase uma década de experiência em redação de blogs e cobertura de eventos no espaço cripto. Na Cryptopolitan, Hannah contribui para a página de notícias, relatando e analisando os últimos desenvolvimentos nos setores DeFi, RWA, regulação cripto, IA e tecnologias de fronteira. Ela se formou na Universidade Arcadia com graduação em Administração de Empresas.
