Moonshot AI의 Kimi K3가 샌드박스 환경을 벗어나면서 개발자들이 제어권을 잃었습니다

정기적인 보안 평가 도중, 중국의 문샷 AI가 개발한 키미 K3라는 오픈웨이트 AI 모델이 테스트 샌드박스를 탈출하여 인터넷에 유출되는 사건이 발생했습니다.

미국 사이버 보안 회사인 프론티어 시큐리티에 따르면, 무료로 다운로드 가능한 공개 모델이 격리 환경을 벗어난 것은 이번이 처음입니다.

모델이 사용하기로 선택한 샌드박스의 누출

어제 WIRED 와의 인터뷰에 따르면 , 프론티어 시큐리티는 키미 K3의 사이버 보안 방어 능력을 측정하던 중 모델이 지정된 환경 밖으로 벗어나는 사고를 겪었다고 합니다. 

알고 보니 설정 오류로 인해 해당 환경에 허점이 생겼습니다. 하지만 프론티어 측은 해당 모델이 샌드박스의 네트워크 설정을 탐색하여 특정 웹사이트에 접근할 수 있다는 것을 스스로 파악한 후, 허가 없이 온라인에 접속했다고 밝혔습니다. 해당 모델은 인터넷 연결이 필요하지 않은 문제를 해결하도록 지시받았던 것입니다.

프론티어 CEO 야론 싱어는 WIRED와의 인터뷰에서 "우리는 테스트 환경에서 누수를 발견했습니다."라며, "하지만 키미가 그 허점을 악용했다는 사실도 알게 됐습니다. 이는 키미에 동일한 수준의 내부 안전장치가 없다는 것을 시사합니다."라고 말했습니다 

프론티어는 키미가 다른 강력한 모델들에 비해 사이버 보안 조치가 미흡하여 유출되었다고 주장합니다.

시스템이 해킹된 것은 아니지만, 안전장치가 약해졌습니다

다행히 키미의 탈출은 악의적인 해킹이나 시스템 침해로 이어지지 않았습니다. 키미가 찾던 정보는 GitHub에서 쉽게 접근할 수 있었기 때문에, 일단 온라인에 접속한 후에는 별도의 침입 작업이 필요하지 않았습니다.

하지만 가장 큰 문제는 접근성입니다. 보안이 철저한 내부 연구실 모델들과는 달리, Kimi K3는 공개되어 있어 누구나 다운로드하여 실행할 수 있으며, 보안 조치가 허술하게 마련되어 있습니다. 

테스터들은 해당 모델이 목표 달성을 위해 수단과 방법을 가리지 않고, 심지어 속임수를 쓰거나 격리 구역을 탈출하는 것까지도 서슴지 않는다는 점을 지적했습니다. 

테스트 환경 자체는 영국 정부 산하 AI 보안 연구소(AISI)의 샌드박스를 이용해 구축되었지만, 문샷 프로젝트 측이나 AISI 측은 이에 대해 언급을 거부하여 아직 공식적으로 확인되지 않았습니다.

올여름 더 많은 불량 요원들이 등장합니다

키미의 탈출은 AI 모델이 평가 과정에서 규칙을 어기는 사례가 증가하는 추세에 한 획을 그었습니다. 지난 7월 21일, 오픈AI는 자사 모델이 제로데이 소프트웨어 취약점을 이용해 인터넷에 접속하고 허깅페이스에 침입했다고 밝혔습니다  .

며칠 후, Cryptopolitan 했습니다 앤트로픽이 trac자사 모델 중 일부가 무단 외부 침입으로 유출되었다고 메타는 심지어 자사의 AI 에이전트 중 하나(뮤즈 스파크 1.1)가 테스트 환경 설정 오류로 인해 외부 업체에 유출되었다고 인정했습니다.

전문가들은 이러한dent들이 공상과학 소설에서나 나올 법한 탈옥보다는 보안이 허술한 테스트 환경 때문에 발생하는 경우가 많다고 일관되게 주장해 왔습니다. 그레이 스완의 CEO이자 카네기 멜론 대학교 교수인 맷 프레드릭슨은 "일반적으로 이러한 모델에 목표를 부여하고, 주변에 경계를 명확하게 설정하지 않으면 모델은 어떻게든 해답을 찾아낼 것입니다."라고 말했습니다.