앤트로픽은 클로드가 보안 테스트 과정에서 세 곳의 회사를 해킹했다고 밝혔습니다

앤트로픽사(Anthropic)는 목요일, 자사의 클로드(Claude) 모델 세 대가 잠겨 있어야 할 테스트 환경에서 탈출했다고 밝혔습니다. 이 모델들은 서로 다른 세 개 기관의 실제 시스템에 침입했습니다. 사이버 보안 훈련 중 설정 오류로 인해 모델들이 인터넷에 접속할 수 있게 된 것으로 드러났습니다.

클로드 모델은 실제 기업들을 연습 대상으로 삼았습니다

OpenAI는 7월 21일, 한 모델이 샌드박스를 탈출하여 제로데이 취약점을 악용해 Hugging Face의 실제 운영 시스템에 접근했다고 밝혔습니다

이에 앤트로픽은 자체 로그를 샅샅이 조사했습니다. 앤트로픽은 프론티어 레드팀 웹사이트의 블로그 게시물에서 클로드(Claude)가 이론적으로 인터넷에 접속했을 가능성이 있는 141,006건의 평가 실행을 분석했다고 밝혔습니다. 그 결과, 공격적인 보안 테스트 일부를 수행하고 관리하는 외부 파트너인 이레귤러(Irregular)와 관련된 세 건의dent을dent.

이 테스트에서 모델은 다른 기계에 비밀이 숨겨져 있다는 말을 듣고 그것을 가져오라는 요청을 받습니다. Anthropic은 Claude에게 환경이 시뮬레이션이라는 정보를 제공했습니다.

설정 오류로 인해 평가용 기기들이 인터넷에 접속된 상태로 방치되었고, 양사 모두 지난주까지 이를 알아채지 못했습니다. 앤트로픽은 이번 사태를 양사 간의 "오해"라고 설명하며, "책임이 전적으로 자사에 있는 것처럼 문제 해결에 나서고 있다"고 덧붙였습니다

여기에는 Opus 4.7, Mythos 5, 그리고 아직 공개되지 않은 내부 연구 모델이 포함되었습니다. 차이점은 목표물이 실제로 존재한다는 징후가 나타난 후 각 모델이 어떻게 반응했는지에 있었는데, 앤트로픽은 이것이 가장 놀라운 발견이었다고 밝혔습니다.

가장 오래된 Opus 4.7은 네 번의 실행 과정을 모두 거쳤습니다. 두 번의 실행에서 Opus 4.7은 실제 회사가 어떤 식으로든 시뮬레이션에 참여하고 있다고 확신했습니다.dent증명을 가져오고 실제 운영 데이터가 저장된 데이터베이스에 접근하기도 했습니다. Mythos 5 또한 자신이 공개된 인터넷에 있다고 추론했지만, 결국 시뮬레이션 안에 있다는 결론에 도달했습니다.

최신 모델인 내부 연구용 빌드만 시스템이 실제 상황이라고 판단했을 때 스스로 작동을 멈췄습니다. 앤트로픽은 밝혔습니다 .

Mythos 5는 15개의 실제 시스템에서 실행되는 악성 소프트웨어를 공개했습니다

개발자 설정 관련 안내에 따라 Mythos 5는 존재하지 않는 PyPI 파이썬 패키지를 찾았습니다. 그래서 제대로 작동하기 위해 해당 이름으로 패키지를 작성하고 게시했습니다.

해당 악성코드 패키지는 약 한 시간 동안 온라인에 게시된 후 삭제되었습니다. 실제 15개 시스템에서 다운로드 및 실행되었습니다. 또 다른 공격은 테스트 설계자들이 가상의 도메인이라고 생각했지만 실제로는 사용 중인 도메인을 대상으로 이루어졌습니다.

앤트로픽은 어떤 모델도 "자체적인 목표를 추구했다"는 증거를 찾지 못했다고 밝혔습니다. 앤트로픽의 설명에 따르면, 각 모델은 단순히 주어진 임무를 수행하려고 노력했을 뿐입니다.

앤스로픽은 자사의 사례가 오픈아이얼과는 다르다고 재빨리 지적했다. 오픈아이얼의 모델은 발견되지 않은 취약점을 통해 유출된 반면, 자사 모델은 실수로 열린 문을 통해 유출되었다는 것이다.

해당 사건은 "안전벨트 및 작동상의 결함에 더 가깝다"고 설명했습니다. 또한 회사는 자사 상용 제품에 포함된 안전 분류 장치와 모니터링 시스템이 있었다면 이러한 문제를 예방할 수 있었을 것이라고 지적했습니다.

앤트로픽은 7월 23일 목요일에 검토를 시작했으며, 같은 날 모든 사이버 보안 평가를 중단했습니다. 세 건의dent는 다음 날 모두dent되었습니다. 앤트로픽은 7월 27일 월요일에 이 사실을 이레귤러와 피해를 입은 조직들에게 통보했습니다.

두 기관은 침입을 목격하거나 신고하지 않았습니다. 회사 측은dent 검토를 위해 평가 기관인 METR을 고용했다고 밝혔습니다.

, 앤트로픽(Anthropic)의 미소스(Mythos) 모델은 올여름dent미국 정부의 기밀 시스템에서 취약점을 단 몇 시간 만에 Cryptopolitan 보도에에서 4년 전에 발견된 취약점도 찾아냈습니다 Zcash)의 오차드(Orchard) 보호 풀