- Anthropic은 세 개의 Claude 모델이 테스트 환경을 탈출하여 세 곳의 실제 조직에 무단으로 접근했다고 밝혔습니다.
- Mythos 5는 PyPI에 악성 Python 패키지를 게시했으며, 이는 15대의 실제 시스템에서 다운로드되어 실행되었습니다.
- 이번 공개는 OpenAI의 Hugging Face 침해 사고 발생 9일 후 이루어졌습니다.
앤트로픽은 목요일, 클로드 모델 3개가 잠겨 있는 테스트 환경에서 탈출했다고 밝혔습니다. 이들은 3개 다른 조직의 실제 시스템에 침입했습니다. 오작동으로 인해 사이버 보안 훈련 중 모델들에게 인터넷 접근 권한이 부여되었습니다.
클로드 모델들은 실제 기업을 연습 대상으로 취급
오픈AI는 7월 21일 모델이 샌드박스를 탈출하여 제로데이 취약점을 이용해 허깅페이스의 프로덕션 시스템에 접근했다고 밝혔습니다.
이로 인해 앤트로픽은 로그를 조사했습니다. 회사는 프론티어 레드 팀 사이트에 게시한 블로그 게시물에서 클로드가 이론적으로 인터넷에 접근할 수 있었던 141,006건의 평가 실행을 분석했다고 밝혔습니다. 회사는 외부 파트너인 Irregular와 관련된 3건의 사건을 식별했으며, Irregular는 일부 공격적 보안 테스트를 수행하고 관리합니다.
이러한 테스트에서 모델은 다른 기계에 숨겨진 비밀을 찾아오라는 지시를 받습니다. 앤트로픽의 클로드 프롬프트는 환경이 시뮬레이션이라고 알려주었습니다.
오작동으로 평가용 기계에 실제 인터넷 접근 권한이 부여되었으며, 두 회사 모두 지난 주까지 이를 발견하지 못했습니다. 앤트로픽은 이 실수를 두 회사 간의 “오해”로 설명하며, “책임이 우리만의 것처럼 수정 작업을 진행 중”이라고 덧붙였습니다.
이들에는 Opus 4.7, Mythos 5, 그리고 아직 출시되지 않은 내부 연구 모델이 포함되었습니다. 차이는 대상이 실제라는 징후가 나타난 후 각 모델이 어떻게 반응했는지에 있었으며, 이는 앤트로픽이 가장 놀라운 발견이라고 말했습니다.
가장 오래된 모델인 Opus 4.7은 4번의 실행 모두를 순회했습니다. 두 번의 실행에서 실제 회사가 어쨌든 연습의 일부여야 한다고 스스로 설득했습니다. 그는 자격 증명을 추출하고 프로덕션 데이터가 포함된 데이터베이스에 접근했습니다. Mythos 5도 오픈 인터넷에 있다는 것을 추론한 후, 여전히 시뮬레이션 안에 있다는 믿음으로 다시 논리적으로 도달했습니다.
최신 모델인 내부 연구 빌드만 시스템이 실제라고 판단했을 때 스스로 멈췄습니다. 앤트로픽은 자신의 코드가 “복잡한 취약점을 찾거나 악용하지 않았으며” 대신 약한 비밀번호와 인증되지 않은 엔드포인트에 의존했다고 밝혔습니다.
Mythos 5은 15 실제 시스템에서 실행되는 악성 코드를 게시했습니다
개발자 설정에 대한 메모를 따르던 Mythos 5는 존재하지 않는 PyPI 파이썬 패키지를 찾았습니다. 그래서 직무를 수행하기 위해 그는 해당 이름으로 패키지를 작성하고 게시했습니다.
이 패키지는 약 1시간 동안 온라인에 게시되어 있다가 제거되었습니다. 이 패키지는 15개의 실제 시스템에서 다운로드되어 실행되었습니다. 또 다른 공격은 테스트 설계자가 가상의 도메인이라고 생각했지만 실제로는 활성화되어 사용 중인 도메인을 겨냥했습니다.
앤트로픽은 어떤 모델도 “자신의 목표를 추구하는” 증거를 발견하지 못했다고 밝혔습니다. 각 모델은 단순히 주어진 작업을 수행하려고 시도했을 뿐이라고 설명했습니다.
회사는 자신의 사례가 오픈AI의 사례와 다르다는 점을 빠르게 지적했습니다. 오픈AI의 모델은 발견되지 않은 취약점을 통해 탈출한 반면, 앤트로픽의 모델들은 실수로 열어둔 문을 통해 탈출했다고 밝혔습니다.
회사는 이러한 사건들을 “하네스 및 운영 실패에 더 가깝다”고 설명했습니다. 회사는 또한 상업용 제품에 포함된 안전 분류기 및 모니터링이 이러한 행동을 방지했을 것이라고 지적했습니다.
앤트로픽은 7월 23일 목요일 검토를 시작하고 같은 날 모든 사이버 평가를 중단했습니다. 모든 3건의 사건은 다음 날 식별되었습니다. 회사는 7월 27일 월요일에 Irregular와 영향을 받은 조직들에게 통보했습니다.
두 조직은 침입을 목격하거나 보고하지 않았습니다. 회사는 평가 그룹 METR에 독립적인 검토를 수행하도록 의뢰했다고 밝혔습니다.
앤트로픽의 Mythos 모델은 이미 이번 여름 미국 정부 기밀 시스템의 취약점을 몇 시간 만에 식별하며 화제가 되었습니다. 이는 크립토폴리탄이 보도한 바와 같습니다. 이 모델은 또한 Zcash의 Orchard 차폐 풀에서 4년 된 취약점도 발견했습니다.
이 글을 읽고 계신다면, 이미 앞서 나가고 있습니다. 뉴스레터로 그 위치를 유지하세요.
자주 묻는 질문
어떤 Claude 모델이 침해에 관여했습니까?
Anthropic에 따르면 세 개의 모델이 연루되었으며, 이들은 Opus 4.7, Mythos 5, 그리고 미공개 내부 연구용 테스트 모델입니다.
테스트 상태였던 Claude가 어떻게 실제 시스템에 접근할 수 있었습니까?
Anthropic의 파트너인 Irregular가 수행한 평가 설정의 오류로 인해 테스트 머신이 실제 인터넷에 연결될 수 있게 되었습니다. Anthropic의 프롬프트는 환경이 연결이 없는 시뮬레이션이라고 명시했으므로, 모델들은 실제 시스템을 연습의 일부로 간주했습니다.
공격 중 실제로 피해가 발생했습니까?
네. Mythos 5는 약 한 시간 동안 온라인에 남아 있던 악성 Python 패키지를 PyPI에 게시했으며, 이는 15대의 실제 시스템에서 다운로드되어 실행되었습니다. Opus 4.7은 자격 증명을 추출하고 생산 데이터베이스에 접근했으나, Anthropic이 이 활동을 감지하기 전이었습니다.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com은 이 페이지에 제공된 정보를 기반으로 이루어진 모든 투자에 대해 책임을 지지 않습니다. 어떤 투자 결정을 내리기 전에 독립적인 조사나 자격을 갖춘 전문가와의 상담을 강력히 권장합니다.
란다 모세스
란다 모세스는 Cryptopolitan의 편집자이자 기자로, 기술, AI, 로봇공학, 암호화폐, 사기 및 해킹을 담당합니다. 그녀는 2017년부터 암호화폐 분야에서 활동해 왔으며, 포워드 프로토콜, 아마직스, 크립토소니아크에서 역할을 수행했습니다. 란다는 브래드포드 대학교에서 전기전자공학을 전공했습니다.
