Laboratórios do Reino Unido e dos EUA descobrem que o Kimi K3 fica atrás dos modelos de ponta dos EUA em tarefas de ciberataque
- Uma avaliação conjunta entre o Reino Unido e os EUA concluiu que o Kimi K3 da Moonshot AI fica significativamente atrás dos principais modelos americanos em termos de capacidades cibernéticas ofensivas.
- O Kimi K3 não conseguiu executar código arbitrário, o resultado mais perigoso, em nenhuma das 41 tarefas de teste.
- A Moonshot planeja disponibilizar o código-fonte completo do Kimi K3 em 27 de julho, o que significa que, uma vez lançado, suas capacidades não poderão mais ser restringidas por um único provedor de hospedagem.
Um relatório de avaliação conjunta afirmou que o Kimi K3 da Moonshot AI não está à altura dos sistemas de IA americanos maistronquando se trata de criar exploits de software e executar ataques de rede simulados.
O Instituto de Segurança de IA do Reino Unido (AISI) e o Centro de Padrões e Inovação de IA dos EUA (CAISI) realizaram a avaliação e divulgaram suas conclusões em 23 de julho.
A Moonshot deverá divulgar ao público os pesos totais do modelo em 27 de julho, e as conclusões indicam que as medidas de segurança do Kimi K3 não impediram que ele auxiliasse em atividades cibernéticas ofensivas.
O que a avaliação conjunta descobriu sobre Kimi K3?
Os dois institutos executaram o Kimi K3 no ExploitBench, um teste da Carnegie Mellon que avalia o quão longe um modelo consegue levar uma exploração até a sua conclusão. Ele se baseia em 41 vulnerabilidades encontradas no mecanismo V8 do Chrome após 2023. O Kimi K3 obteve uma pontuação de 32%. Os principais modelos dos EUA tiveram uma média de 76,2%, e o GLM-5.2 da China ficou com 24%.
A execução de código arbitrário, que concede ao atacante controle total de uma máquina alvo, é o resultado mais perigoso do teste. Os modelos americanos atingiram esse resultado em 20 das 41 tarefas, em média. O Kimi K3 não o atingiu em nenhuma.
O GLM-5.2 também não conseguiu atingir esse objetivo. Portanto, embora Kimi K3 agora lidere seus rivais da categoria peso-mosca em capacidade cibernética, ele fica devendo no ponto em que um ataque real causaria o maior dano.
Na metade de uma invasão de rede de 32 etapas
O segundo teste, chamado "Os Últimos", insere um modelo em uma rede corporativa simulada com cerca de 20 hosts distribuídos em quatro sub-redes.
Um especialista humano levaria cerca de 20 horas para percorrer todo o caminho de 32 etapas. O modelo Kimi K3 atingiu uma média de 17 etapas, enquanto os modelos americanos mais avançados alcançaram uma média de 28,5, e o GLM-5.2, 11.
No entanto, os avaliadores observaram que Kimi K3 completou toda a cadeia uma vez em dez tentativas e ficou abaixo do limite de 100 milhões de tokens estabelecido pelos avaliadores.
Os melhores modelos americanos resolveram o problema seis ou sete vezes em dez. Os institutos interpretaram esse único sucesso como prova de que o modelo possui a capacidade; no entanto, ele não pode acioná-la sob demanda. Eles observaram que o campo de testes não possui defensores ativos e tem um caminho pré-definido até o alvo, o que facilita a vida de qualquer atacante.
O Kimi K3 possui mecanismos de segurança que lhe permitem dizer não?
Os avaliadores apontaram que a disposição do modelo em executar tarefas sem resistência representava um risco significativo. Eles afirmaram: "O Kimi K3 é capaz de atacar autonomamente sistemas empresariais pequenos, pouco protegidos e vulneráveis, quando instruído a fazê-lo e após receber acesso inicial à rede."
A AISI já havia alertado que o aumento da capacidade de modelos abertos cria “um risco persistente e irreversível de uso indevido”. Assim que os pesos do Kimi K3 forem divulgados publicamente em 27 de julho, seu comportamento não poderá mais ser controlado por quem o hospeda.
Por que as pontuações cibernéticas da Kimi K3 ficam abaixo das pontuações gerais?
Antes deste relatório, o Kimi K3 apresentavatronresultados em benchmarks gerais, e isso não mudou; no entanto, suas deficiências ficaram evidentes quando suas capacidades cibernéticas foram colocadas à prova. O modelo chinês de 2,8 trilhões de parâmetros teria superado o Claude 4.8 e o GPT-5.5, além de liderar alguns rankings.
Segundo os institutos, isso pode ser possível devido à forma como o modelo foi construído.
O diretor científico da Casa Branca, Michael Kratsios, acusou a Moonshot, em 22 de julho, de usar o modelo Fable da Anthropic como base para seus resultados, utilizando-os como dados de treinamento.
Os classificadores da Anthropic bloqueiam comandos cibernéticos ofensivos avançados. Isso significa que um conjunto de treinamento extraído das respostas de Claude não ofereceria material suficiente sobre essas habilidades específicas.
O Kimi K3 não possui esses classificadores, o que lhe permitiu igualar os modelos ocidentais em tarefas gerais, embora ainda apresentasse deficiências em capacidade de exploração.
As mentes mais brilhantes do mundo das criptomoedas já leem nossa newsletter. Quer participar? Junte-se a elas.
Perguntas frequentes
Qual foi o desempenho do Kimi K3 em comparação com os modelos americanos no desenvolvimento de exploits?
No teste ExploitBench, o Kimi K3 obteve 32%, enquanto os principais modelos dos EUA alcançaram uma média de 76,2%, e não conseguiu executar código arbitrário em nenhuma das 41 tarefas, em comparação com 20 de 41 para os principais modelos dos EUA.
Kimi K3 se recusou a ajudar com os ataques cibernéticos?
Não. Os avaliadores do AISI e do CAISI do Reino Unido relataram que as salvaguardas do Kimi K3 não o impediram de tentar desenvolver exploits ou realizar operações cibernéticas ofensivas quando instruído a fazê-lo.
Por que Kimi K3 pode sertronem tarefas gerais, mas fraco em cibersegurança?
Os institutos sugerem que, se o projeto Moonshot treinou o Kimi K3 com base nas saídas do Claude, como alegam as autoridades americanas, os classificadores da Anthropic bloqueiam consultas cibernéticas ofensivas avançadas, de modo que essas habilidades estariam sub-representadas nos dados de treinamento.
Hannah Collymore
Hannah é escritora e editora com quase uma década de experiência em redação para blogs e cobertura de eventos no universo das criptomoedas. No Cryptopolitan, Hannah contribui para a página de notícias, reportando e analisando os últimos desenvolvimentos em DeFi, RWA, regulamentação de criptomoedas, IA e tecnologias de ponta. Ela se formou em Administração de Empresas pela Universidade Arcadia.
