Kimi K3, 사이버 공격 작업에서 미국 최첨단 모델에 뒤처져, 영국-미국 연구소 발견

공동 평가 보고서에 따르면 문샷 AI의 Kimi K3는 소프트웨어 익스플로잇 구축 및 시뮬레이션된 네트워크 공격 실행 측면에서 가장 강력한 미국 AI 시스템에 미치지 못하는 것으로 나타났다. 

영국의 AI 보안 연구소(AISI)와 미국의 AI 표준 및 혁신 센터(CAISI)가 평가를 수행했으며, 7월 23일 findings를 공개했다.

문샷은 7월 27일 모델의 전체 가중치를 공개할 예정이며, findings에 따르면 Kimi K3의 안전 장치는 공격적인 사이버 작업을 돕는 것을 막지 못했다.

공동 평가는 Kimi K3에 대해 무엇을 발견했는가?

The 두 연구소가 Kimi K3을 평가 카네기 멜런 대학의 테스트인 ExploitBench를 통해 모델이 익스플로잇을 완료까지 얼마나 밀어붙일 수 있는지 점수를 매겼다. 이는 2023년 이후 크롬의 V8 엔진에서 발견된 41개의 취약점을 기반으로 한다. Kimi K3는 32%를 기록했으며, 미국 최상위 모델들의 평균은 76.2%, 중국의 GLM-5.2는 24%였다.

공격자가 대상 기계를 완전히 장악할 수 있는 임의 코드 실행은 벤치마크에서 가장 위험한 결과다. 미국 모델들은 평균 41개 작업 중 20개에서 이를 달성했다. Kimi K3는 하나도 달성하지 못했다.

GLM-5.2도 이를 달성하지 못했다. 따라서 Kimi K3는 이제 오픈 가중치 경쟁자들 사이에서 사이버 능력에서 선두를 차지하고 있지만, 실제 공격이 가장 큰 피해를 입힐 지점에서는 부족하다.

32단계 네트워크 침입의 중간 지점

두 번째 테스트인 ‘더 라스트 원(The Last Ones)’은 약 20개의 호스트가 4개의 서브넷에 분산된 시뮬레이션된 기업 네트워크에 모델을 투입한다. 

전문가가 전체 32단계 경로를 완료하려면 약 20시간이 걸린다. Kimi K3는 평균 17단계, 가장 강력한 미국 모델들은 평균 28.5단계, GLM-5.2는 11단계를 달성했다.

그러나 평가자들은 Kimi K3가 10번 시도 중 한 번은 전체 체인을 완료했으며, 평가자들이 설정한 1억 토큰 한도 내에 머물렀다고 지적했다. 

최고의 미국 모델들은 10번 중 6~7번 성공했다. 연구소들은 이 유일한 성공을 모델이 능력을 가지고 있음을 나타내는 증거로 해석했지만, 필요할 때마다 이를 발휘할 수는 없다고 보았다. 그들은 이 범위에 능동적인 방어자가 없고 대상까지의 내장된 경로가 있어 공격자에게 유리하다고 지적했다.

Kimi K3는 거부할 수 있는 안전 장치가 있는가?

평가자들은 모델이 반박 없이 작업을 수행하려는 의도가 주요 위험이라고 지적했다. 그들은 “Kimi K3는 지시받고 초기 네트워크 접근 권한을 부여받을 때 소규모, 약하게 방어된 및 취약한 기업 시스템에 자율적으로 공격할 수 있다”고 밝혔다. 

AISI는 이전에 오픈 모델 능력의 증가가 “지속적이고 되돌릴 수 없는 오용 위험”을 창출한다고 경고한 바 있다. 7월 27일 Kimi K3의 가중치가 공개되면, 호스트 제공자가 그 행동을 제한할 수 없게 된다.

왜 Kimi K3의 사이버 점수는 일반 점수와 비교해 뒤처지는가?

이 보고서 이전에는 Kimi K3이 강력한 일반 벤치마크를 보였으며, 이는 변하지 않았다. 그러나 사이버 능력이 테스트되었을 때 그 한계를 드러냈다. 이 중국산 2.8조 파라미터 모델은 Claude 4.8과 GPT-5.5를 제치고 일부 리더보드에서 1위를 차지한 것으로 보고되었다.

연구소들에 따르면, 이는 모델이 어떻게 구축되었는지의 결과일 수 있다.

백악관 과학 책임자 마이클 크라티오스는 문샷을 7월 22일 앤트로픽의 Fable 모델을 증류하고 그 출력을 학습 데이터로 사용했다고 비난했다. 

앤트로픽의 분류기는 고급 공격적 사이버 프롬프트를 차단한다. 이는 클로우드 응답에서 스크랩된 학습 세트가 해당 정확한 기술에 대한 충분한 자료를 제공하지 않을 것임을 의미한다. 

Kimi K3에는 이러한 분류기가 없으며, 이로 인해 일반 작업에서는 서방 모델들과 맞먹었지만 익스플로잇 능력에서는 부족했다.