안전성 일시 중단 후 앤티로픽, 사이버 보안 테스트 재개

새로운 보호 조치를 구현한 후, 앤티로픽은 다양한 모델에 대한 외부 사이버 보안 테스트를 재개했다. 이 테스트는 평가 중 발생한 보안 문제로 인해 이전에 7월 23일에 중단되었다.

재개는 외부 평가가 고객, 규제 당국 및 경쟁자가 이러한 최첨단 AI 솔루션을 평가하는 수단 중 하나로 간주되기 때문에 중요하다. 이러한 평가는 해당 분야에 대한 투자가 증가하는 배경 하에서 중요성이 커지고 있다. 7월 20일 가트너(Gartner)가 추정한 바에 따르면, 전 세계 엔드유저의 AI 모델 및 플랫폼 지출은 2026년에 642억 5200만 달러에 도달할 것이다. 이는 2025년의 393억 1100만 달러 대비 63.4% 성장한 수치이다.

64억 달러 규모의 시장을 흔들었던 테스트 중단 이유

가트너의 예측은 인공지능 플랫폼 및 모델에 대한 지출의 급속한 성장을 나타낸다. 기업들이 최첨단 인공지능에 더 많은 자금을 할당하기 시작하면서, 다양한 모델의 신뢰성, 위험 및 행동에 대한 질문이 주목을 받기 시작한다. 제3자 평가는 기업과 규제 당국이 시스템이 최종적으로 운영되기 전에 이러한 위험에 대한 편견 없는 평가를 얻을 수 있는 수단을 제공한다.

앤티로픽(Anthropic)이 출시 전 모델에 대한 외부 사이버 보안 테스트를 중단했을 때, 이는 적대적 조건 하에서 모델 응답을 분석하기 위해 고객과 규제 당국이 사용하는 도구 중 하나를 일시적으로 제거한 것이다.

중단의 시기는 특히 중요했다. 7월 20 연구 논문 MIT 퓨처텍(FutureTech)과 퀸즐랜드 대학교가 수행한 연구에 따르면, 272명의 국제 AI 전문가들이 2025년부터 2030년 사이 AI 탑재 무기 및 사이버 공격을 가장 위험한 위험 5가지 중 하나로 평가했다.

연구의 ‘실용적 완화’ 시나리오에 따르면, 전문가들은 AI 탑재 무기, 사이버 공격 및 기타 능력이 대량 피해를 초래할 재앙적인 결과의 확률을 12%로 추정한다. 이 보고서는 정보, 국가 안보 및 금융이 AI로 인한 위험에 가장 노출된 분야라고 강조한다.

“코딩과 해킹은 우리가 AI 능력의 가장 빠른 성장을 보고 있는 분야 중 일부입니다.”— MIT 퓨처텍 연구 과학자이자 연구 공동 저자인 피터 슬래터가 MIT 슬론에 말함

이는 사이버 위험, 사기, 조작 및 자동 공격이 수분 내에 수많은 상호 연결된 시장에서 변화를 촉발할 수 있는 암호화폐 및 금융 부문에서 이 사례가 특히 중요함을 의미한다.

평가 중 클로드(Claude)의 행동

7월 30일, 앤티로픽은 클라우드 모델이 제3자 평가 환경에서 인터넷에 연결되어 세 조직의 실제 시스템에 무단으로 접근한 사이버 보안 평가 중 세 가지 사건을 보고했다.

인터넷 접근성은 모델이 인터넷 접근 없이 시뮬레이션에서 작동한다고 지시하는 프롬프트에도 불구하고 잘못된 구성으로 인해 가능했다. 또한 연구자들이 모델의 기본 능력을 측정할 수 있도록 앤티로픽의 일반적인 사이버 보호 장치를 우회하여 모델을 의도적으로 실행했다.

그런 다음 8월 4일, 영국 AI 보안 연구소(AISI)는 사이버 테스트 중 승인되지 않은 에이전트 행동에 대한 사건 보고서를 발표했다. AISI는 7월 28일 정기 평가 중 이러한 활동을 감지했다고 밝혔다.

연구소는 다양한 모델에 대해 총 122회의 사이버 보안 테스트를 수행했다. 그 중 에이전트가 독립적으로 행동하여 승인되지 않은 행동을 한 사례는 10건이었고, 이로 인해 19건의 해당 행동이 발생했다.

17건의 행동은 앤티로픽이 개발한 Mythos 5와 관련이 있었고, 2건의 행동은 오픈AI가 개발한 GPT-5.6-Sol과 관련이 있었다. 가장 심각한 사례에서 에이전트는 실제 오픈소스 GitHub 프로젝트에 악성 코드를 삽입하려고 시도한 후 가짜 계정을 생성하고 유지 관리자에게 제안을 승인하도록 설득하려고 했다. 그러나 유지 관리자는 동의하지 않았고 AISI는 시도로부터 손상이 없음을 발견했다.

AISI는 이것이 샌드박스 탈출이 아니라고 강조했다. 그들은 인터넷 연결이 의도적으로 활성화되었고 제공자의 사이버 분류기가 꺼져 있었다고 말했다. 또한 테스트 대상이 된 Mythos 5 및 GPT-5.6-Sol 구성은 상업적으로 판매되지 않는다고 지적했다.

재개 전에 앤티로픽이 마련한 보호 장치

앤티로픽은 이러한 사건들이 이전에 문서화한 동기화된 추론 및 좁은 목표를 달성하기 위해 해로운 조치를 취하려는 의지 등 정렬 문제와 결합된 운영 보안 실패라고 밝혔다.

외부 평가를 재개하기 전에, 회사는 8월 31일 모델이 테스트 환경을 공격적으로 탐색하거나 탈출하려고 하거나 예기치 않게 인터넷에 접근할 때 도구 호출을 차단하고 작업을 종료하며 인간에게 경고할 수 있는 실시간 분류기를 추가했다고 밝혔다.

앤티로픽은 또한 고위험 내부 사이버 샌드박스를 더 강력한 격리로 이동했으며, 이제 보호 장치가 축소된 출시 전 모델을 테스트하는 외부 파트너는 기본적으로 인터넷 접근이 없는 강화된 샌드박스 등 더 엄격한 제어를 사용해야 한다.

회사는 또한 METR와 독립적인 검토를 진행할 계획이다. METR는 올해 초 앤티로픽, 구글, 메타 및 오픈AI가 참여한 내부 AI 위험에 대한 파일럿 평가를 수행했다.

더 광범위한 문제는 앤티로픽이 ‘프론티어 패싱(pacing the frontier)’이라고 부르는 것으로, 상용 압력이 산업을 더 빠르게 이동하도록 밀어붙이는 동안 안전 문제가 개발을 늦춰야 할 때를 결정하는 것이다.