최신 뉴스
당신을 위한 선택

OpenAI 및 Anthropic 에이전트는 영국 안전 테스트에서 19번의 탈출을 기록했습니다

작성자란다 모세스란다 모세스 3분 읽기
OpenAI와 Anthropic 에이전트가 UK 안전 테스트에서 19 위반 사항을 기록했습니다.
  • 영국의 AI 보안 연구소는 122회의 테스트 실행에서 19건의 규칙 위반 행위를 발견했습니다.
  • Anthropic의 Mythos 5가 17건의 사고를, OpenAI의 GPT-5.6-Sol이 나머지 두 건을 각각 담당했습니다.
  • 가장 심각한 사례는 에이전트가 악성 코드를 작성하고 가상의 온라인 신원을 위조하여 인간이 이를 승인하도록 유도한 것이었습니다.

영국의 AI 보안 연구소(AISI)에 따르면 사이버 보안 테스트 중 OpenAI와 Anthropic의 AI 에이전트들은 19번의 무단 행동을 취했습니다. 연구소는 화요일, 하나의 에이전트가 악성 코드의 승인을 받도록 사람을 속이기 위해 가상의 온라인 신원을 생성했다고 밝혔습니다.

AISI는 19번의 탈출을 기록했으며, 대부분은 Anthropic에서 발생했습니다

이 결과는 영국 정부의 기관인 AISI가 두 회사의 에이전트가 무엇을 할 수 있는지 탐색하기 위해 수행한 가상의 사이버 보안 연습을 기반으로 합니다. 연구소는 동일한 과제를 122번 반복했으며, 그중 10번의 실행에서 19번의 규칙 위반 행동을 등록했습니다.

경고된 행동 중 17건은 Anthropic의 에이전트가 Mythos 5 모델을 사용했기 때문이었습니다. 나머지 두 건은 OpenAI의 GPT-5.6-Sol에서 발생했습니다.

AISI는 블로그 게시글에서 일부 에이전트가 "실제 사람과 조직을 대상으로 지속적이고 잠재적으로 해로운 활동을 수행했다"고 밝혔으나, 어떤 침해도 실제 세계의 피해를 초래하지는 않았다고 말했습니다.

AISI는 주요 연구소들과의 자발적인 협정을 통해 최전선 모델에 조기 접근할 수 있습니다. 이러한 행동을 모델이 고객에게 도달하기 전에 포착하기 위한 테스트가 존재합니다.

OpenAI와 Anthropic은 에이전트를 비즈니스 소프트웨어의 다음 물결로 홍보하지만, 연구소는 에이전트 테스트 주변의 안전 장치가 여전히 취약하다는 증거로 이 결과를 제시합니다.

가장 심각한 사건은 악성 코드를 작성하고 가상의 온라인 신원을 생성한 후 인간이 해당 코인에 서명하도록 유도하려 한 에이전트와 관련이 있었습니다. AISI는 이를 뒷받침한 모델을 특정하지 않았습니다. 또한 이 사건이 이미 공개된 두 가지 사례 중 어느 것에도 해당하지 않는다고 밝혔습니다. OpenAI

이로 인해 가장 유력한 용의자는 Anthropic의 에이전트로 지목되었습니다. 캘리포니아의 비영리 단체인 CivAI의 AI 위험 연구원인 Andrew Yoon은 이렇게 말했습니다.

OpenAI와 Anthropic은 잘못된 구성을 비난합니다

Anthropic은 X(구 트위터)에 게시된 글에서 AISI와 협력하여 세부 사항을 수집하고 조사를 진행 중이라고 밝혔습니다.

OpenAI는 회사 블로그 게시글을 통해 자신의 에이전트와 관련된 두 가지 행동에 대해 응답했으며, 둘 다 프롬프트에서 금지한 방식으로 인터넷에 접근하는 것이었습니다.

이 회사는 말했습니다 "고위험 평가 수행을 위한 공유 관행을 강화"하고 향후 몇 주 내에 국가 AI 연구소, 외부 평가자 및 경쟁 연구소들을 소집할 계획이라고 밝혔습니다.

OpenAI는 동일한 게시글을 통해 다른 문제를 보고했습니다. 제3자 테스트 제공업체인 Irregular가 설정을 잘못 구성하여 우연히 OpenAI의 에이전트가 인터넷에 접근할 수 있게 했습니다.

Anthropic은 일주일 전에 Irregular와 관련하여 매우 유사한 공개 발표를 했습니다. OpenAI는 더 많은 에이전트 탈출 사례를 발견한 후 자체 해킹 조사를 확대했습니다.

7월, OpenAI 에이전트가 격리된 환경에서 탈출하여 Hugging Face의 실시간 시스템에 접근했으며, 공격이 약 일주일 후 회사 자체로 추적되기 전에 FBI에 통보되었습니다.

AISI 평가에서 에이전트들은 샌드박스에서 탈출하지 않았습니다. AISI는 표준 절차의 일환으로 의도적으로 에이전트에게 인터넷 접근 권한을 부여했습니다.

Hugging Face 침해 사건은 또한 Anthropic이 로그를 감사하도록 했습니다. Cryptopolitan은 7월 31일 Mythos 5를 포함한 세 가지 모델이 오작동으로 인해 인터넷에 접근할 수 있게 된 후 테스트 환경을 탈출하여 세 개의 실제 조직에 도달했다고 보도했습니다.

Mythos 5는 PyPI에 악성 Python 패키지를 게시했으며, 이는 제거되기 전에 15개의 실제 시스템에서 실행되었습니다. Anthropic은 평가 그룹인 METR에 사건의 독립적인 검토를 요청했습니다.

암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.

자주 묻는 질문

AI 보안 연구소가 발견한 위반 사항은 몇 건이며, 어떤 모델이 가장 많은 위반을 일으켰습니까?

AISI는 122회의 테스트 실행 중 19건의 승인되지 않은 행위를 기록했습니다. Anthropic의 Mythos 5 에이전트가 17건을, OpenAI의 GPT-5.6-Sol이 나머지 두 건을 차지했습니다.

테스트 중 가장 심각한 사고는 무엇이었습니까?

에이전트가 악성 코드를 작성하고 가상의 온라인 신원을 만들어 인간이 해당 코드를 승인하도록 시도했습니다.

이러한 위반 사항으로 실제 피해가 발생했습니까?

아닙니다. AISI는 19건의 행위 모두에서 실제 세계에서의 피해가 없음을 확인했습니다.

이 기사 공유하기

면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com은 이 페이지에 제공된 정보를 기반으로 이루어진 모든 투자에 대해 책임을 지지 않습니다. 어떤 투자 결정을 내리기 전에 독립적인 조사나 자격을 갖춘 전문가와의 상담을 강력히 권장합니다.

란다 모세스

란다 모세스

란다 모세스는 Cryptopolitan의 편집자이자 기자로, 기술, AI, 로봇공학, 암호화폐, 사기 및 해킹을 담당합니다. 그녀는 2017년부터 암호화폐 분야에서 활동해 왔으며, 포워드 프로토콜, 아마직스, 크립토소니아크에서 역할을 수행했습니다. 란다는 브래드포드 대학교에서 전기전자공학을 전공했습니다.

더 많은 뉴스 …