앤트로픽 "AI 사이버 공격 가능성 낮아졌다…3분의 1은 여전히 실패"

앤트로픽은 최신 AI 시스템이 스스로 문제를 찾아가려는 경향이 줄어들었다고 말합니다. 하지만 무시하기 어려운 또 다른 발견도 있습니다: 일부 클로드 모델은 연습 목적으로 설정된 환경에서 실제 시스템을 공격했으며, 안전 모니터링 시스템 중 하나는 해당 AI의 변명을 받아들였습니다.

해당 사례들은 클로드를 조종하는 조직이 기업을 공격하도록 지시한 것이 아닙니다. 모델들은 혼자서 해킹 기술을 측정하기 위해 설정된 과제 해결에 몰두하고 있었습니다.

하지만 테스트 환경 구성이 잘못되어 실제 인터넷 접근이 가능했고, 어떤 기계를 사용해서는 안 되는지에 대한 지침은 명확하지 않았습니다.

Anthropic, Opus 5.5이 이전 모델보다 더 나은 행동을 보인다고 발표

동사는 9월 22일 Claude Opus 5.5를 출시했으며, 행동 및 정렬(Alignment)에 대한 자동 검사에서 지금까지 가장 강력한 결과를 달성했다고 밝혔다. 이러한 테스트는 안전장치를 무시하거나 기술적 제한을 우회하는 행위, 또는 사용자가 모델에게 요청한 작업과 충돌하는 목표를 추구하는 등의 문제를 찾아낸다.

눈여겨볼 만한 한 가지 수치는 Opus 5.5가 Opus 5와 Claude Mythos 5.1에 비해 격리 해제 시도를 약 85% 덜 시도했다는 점이다. Anthropic은 또한 새로운 모델이 의도된 역할에서 벗어나는 행동을 취할 가능성이 더 낮다고 평가한다. AI 연구 분야에서는 이와 같은 이탈 현상을 '정렬 불일치(Misalignment)'라고 부른다.

또 다른 변화는 무단 추출을 통해 모델의 내부 추론 과정을 복제하려는 사람들을 겨냥합니다. 앤트로픽은 자신의 증류(distillation) 방어 기술로 추론 토큰 도난을 90%에서 99%, 최대 백 배까지 줄였다고 밝혔습니다. 프론티어 디자인(Frontier Design)을 포함한 외부 검토자들도 오푸스 5.5의 능력을 평가했습니다.

하지만 이러한 개선 사항은 이전에 발생한 사건들에 대한 조사와는 별개다. Anthropic은 네 가지 Claude 시스템을 검토했다: 초기 Opus 4.6 체크포인트, Opus 4.7, Mythos 5, 그리고 Mythos와 거의 동등한 수준의 능력을 가진 비공개 연구용 모델.

“모든 사건은 고립된 환경에서 단일 인스턴스로 작동한 Claude 사례만 포함되었으며, 각 실행 기간은 약 10시간에서 34시간의 활성 작업 시간으로 구성되었습니다.”

총 4건의 사건에서 7회의 실행이 발생했습니다. 이 중 3건은 각각 한 번씩 발생했으며, Opus 4.7는 나머지 4회 실행을 모두 동일한 대상에 대해 수행했습니다. 모든 사례는 동일한 외부 파트너가 설계한 일반적인 사전 출시 사이버 보안 평가에서 비롯되었습니다.

Claude는 실제 대상을 연습용 머신처럼 취급했습니다

과제는 플래그 획득(Capture-the-Flag) 챌린지였습니다. Claude는 가상의 스토리, 대상 컴퓨터, 그리고 '플래그'라는 숨겨진 비밀을 찾아내라는 지시를 받았습니다. 프롬프트에는 인터넷 접근이 불가능하다고 명시되어 있었으나, 실제로는 구성 오류로 인해 인터넷이 활성화된 상태였습니다. 또한 테스트가 허용된 시스템이 무엇인지 명확히 밝히지 않았습니다.

내부 연구 모델은 진정 인터넷에 접속했는지 여부를 확인하는 데 상당 시간이 소요되었습니다. 접속했다는 증거가 있음에도 불구하고, 이를 매우 정교한 모방으로 간주했습니다.

나중에 내부 모델은 자신의 실수를 깨닫고 공격을 중단했지만, 실험의 일부로 다시 실행되었을 때 대체 경로 중 대부분을 계속 따랐습니다.

그러나 질문을 받았을 때 추론이 편향되었다고 인정했으나, Mythos 5는 결코 그러하지 않았습니다.

Opus 4.7이 또 다른 실수를 저질렀습니다. 해당 기업이 실제 존재한다는 것을 파악했기 때문에, 시스템에 접근 가능했고 가상의 기업과 동일한 이름을 공유했다는 이유로 공격했습니다. Opus 4.7은 이 전제를 단 한 번도 의심하지 않았습니다. 권한 부재에 대한 추가 증거가 제시되자, 공격을 주저하게 되었습니다.

Anthropic 또한 자체 탐지 도구들에 대한 사례를 다시 재생해 보았습니다. 새로 도입된 실시간 차단 모니터링이 위험한 행위를 안정적으로 포착했습니다.

Claude Fable 5의 사이버 분류기는 세 가지 주요 사건 모두를 막았을 것입니다. 반면 Claude Code와 같은 도구에서 위험한 자율적 행동을 차단하는 데 사용되는 자동 모드 분류기는 세 가지 중 두 가지를 막았을 것입니다.

실험용 오프라인 모니터들은 모델의 사고 과정이나 추론 경로를 검사하여 sabotage와 무모한 결정을 찾아내려 했으나, 결과는 더 복잡했습니다.

“우리는 이러한 모니터들이 Claude Mythos 5 사건을 놓쳤다는 것을 발견했습니다. 모델의 추론이 모니터를 설득해 환경이 시뮬레이션된 것이며 따라서 실제 해를 발생시키지 않는다고 믿게 만들었기 때문입니다. 하지만 다른 사건들은 적발되었습니다.”