- OpenAI는 Astra가 준비 태세 프레임워크에서 '중대(Critical)' 사이버 보안 임계치를 넘은 첫 모델이라고 밝혔습니다.
- 이 모델은 인간의 개입 없이 알려지지 않은 소프트웨어 결함을 찾아내고 이를 악용할 수 있습니다.
- 수석 과학자 Jakub Pachocki 와 CEO Sam Altman 은 '감시 불가능성'에 대한 우려를 반박하며, 이 모델이 블랙박스적 도약이 아니라고 주장했습니다.
오픈AI의 수석 과학자 야쿱 파초키는 회사가 준비 프레임워크에서 'Critical'(중요)' 사이버 보안 지위를 달성한 첫 AI 기업으로 선정된 지 몇 시간 만에 공개적으로 입장을 밝혔습니다. 이는 다가오는 아스트라(Astra) 모델의 미리보기가 제공된 직후였습니다.
파초키의 수요일 초 경고는 AI 연구소가 가장 큰 모델들의 능력에 대한 헤지가 더 이상 존재하지 않을 수 있다는 주장에 대한 공황을 진정시키기 위한 것이었습니다.
왜 오픈AI의 아스트라가 'Critical'인가?
The Critical 지위 는 오픈AI가 2023년 12월 AI 부문에 도입한 준비 프레임워크의 수준입니다. 준비 프레임워크는 AI 모델이 많은 강화된 시스템에서 생존 가능한 제로데이 취약점을 찾고 구축하거나, 완전한 새로운 공격을 실행하는 데 필요한 인간 프롬프팅과 개입의 양을 측정합니다.
제로데이 취약점은 소프트웨어 제작자조차 아직 발견하지 못한 결함을 악용하는 것을 의미합니다.
오픈AI는 9월 1일 자체적으로아스트라로의 여정게시물에서 이 모델이 출시될 때 최소한의 인간 개입으로 완전한 새로운 공격이나 제로데이 취약점의 모든 단계를 완료할 수 있다고 선언했습니다.
오픈AI는 블로그 게시물에서 아스트라의 ExploitBench 점수 100%를 증거로 제시했습니다. ExploitBench는 모델이 알려진 버그를 악용하는 능력을 테스트하는 도구입니다.
아스트라는 제로데이 공격을 계획하는 것뿐만 아니라 더 효율적입니다. 오픈AI는 최근 공개된 20개의 높은 심각성의 V8 결함에 대한 내부 테스트를 통해 이 능력을 입증했습니다. 아스트라는 더 적은 토큰을 사용하며 두 개의 제로데이를 발견했고, 전반적인 임의 코드 실행 생성에서 솔(Sol)을 능가했습니다.
동일한 게시물에 따르면, 아스트라는 알려지지 않은 브라우저 버그를 체인 연결하여 샌드박스 탈출을 수행하고, 전문가 주도 시험에서 일반 사용자부터 루트 권한까지 운영체제 권한 상승을 연결했습니다.
로 TechCrunch는아스트라가 올해 초 출시된 앤트로픽(Anthropic)의 미토스(Mythos) 모델과 함께 이러한 능력을 가진 첫 대규모 언어 모델에 합류했다고 언급했습니다.
파초키, 아스트라에 대한 공황을 피할 것을 요청
오픈AI의 수석 과학자인 파초키는 공황에 반대하고 있습니다 오픈AI가 아스트라와 함께 미지의 영역에 진입하고 있다는 주장에 대해 그는, 그는 "혼란스러운 보고 체계로 인해 통제 불가능한 경쟁이 시작되는 것을 원치 않는다"고 말했습니다.
오픈AI 임원은 체인-오브-스 thought 모니터링(모델이 작업하는 동안 노출하는 단계별 추론을 읽는 관행) 사용에 대한 충분한 실사를 수행했다고 주장했습니다. 그는 오픈AI의 현재 최전선 모델들(아스트라 포함) 뒤의 계산 그래프 깊이를 인용했으며, 이는 X 게시에서 GPT-4의 두 배 이내 수준에 위치해 있습니다.
파초키에 앞서 오픈AI의 최고경영자 샘 알트먼도 아스트라 블로그가 출시된 당일 진정을 촉구했습니다.
"여기에는 명백한 긴장감이 존재합니다." 그는 화요일에 아스트라를 "매우 훌륭하다"고 평가하면서도, 안전 장치가 기본 능력과 함께 발전해야 한다고 주장했습니다. 올트만은 오픈AI가 모델에 필요한 안전 조치가 갖춰진 상태로 출시되도록 하기 위해 여름 내내 자체적인 역할을 수행했다고 말했습니다.
안전성에 대한 논의는 이제 몇 주째 계속되고 있습니다. 8월 18일, 오픈AI는 강화 학습 훈련 일시 중단 을 발표했습니다. 이는 엔지니어들이 연구 클러스터를 강화하고 모니터링을 최적화할 수 있도록 배포 예정 모델에 대해 2주 동안 훈련을 중단하는 것이었습니다. 훈련은 8월 28일에 재개되었습니다.
오픈AI에 따르면 아스트라는 이제 유명한 허깅 페이스(Hugging Face) 사건에 관여하지 않았습니다. 또한 모델은 허깅 페이스 에피소드를 재연하도록 설계된 시나리오가 제시되었을 때조차 샌드박스에서 탈출하려고 시도하지 않았다고 밝혔습니다.
AI 연구소들은 이제 최전선 모델에 대한 접근 권한을 신중하게 관리하고 있습니다
오픈AI는 이제 모든 사람이 아스트라의 가장 고급 기능에 접근할 수 있도록 허용했으며, 이러한 기능은 오픈AI의 데이브레이크(Daybreak) 동맹에 속한 조직에 한정됩니다. 데이브레이크 블루(Daybreak Blue) 기업은 가장 날카로운 방어 기능에 접근할 수 있습니다.
로 Cryptopolitan이 보고앤트로픽도 글래스윙 프로젝트(Project Glasswing) 에 속한 기업만 마이토스 5.1(Mythos 5.1)에 접근할 수 있다고 밝혔습니다. 마이토스 5.1은 기본적으로 별도의 안전 장치가 있는 페이블 5.1(Fable 5.1)입니다.
오픈AI는 또한 더 높은 위험으로 판단되는 계정의 쿼리에 대한 답변을 모니터링하고 제한할 것이라고 밝혔습니다. 전반적으로 아스트라는 추가적인 체인-오브-스 thought 모니터링을 탑재하여 잘못된 행동을 포착하고 해로운 사이버 요청을 더 자주 거부할 것입니다.
아스트라에 대한 정보의 대부분은 오픈AI 자체에서 제공되었으며, 오픈AI의 안전성 또는 능력 주장에 대한 제한적인 제3자 검증만 있었습니다.
오픈AI 재단에서 AI 복원력에 대해 일하고 있는 전 오픈AI 직원 요나 샤비트는 공개적으로 아스트라의 테스트 행동이 진정한 정렬을 반영하는지, 아니면 단순히 평가자가 보고 싶어 하는 것을 알고 있는 모델인지를 물었습니다.
오픈AI는 아스트라가 광범위하게 출시될 때 전체 시스템 카드와 추가 평가가 도착할 것이라고 말합니다. 그때까지 그 사이버 기술의 범위와 그 주변 울타리의 강도는 판단하기 어렵습니다.
가장 똑똑한 암호화폐 전문가들이 이미 우리 뉴스레터를 구독하고 있습니다. 참여하고 싶으신가요? 함께하세요.
자주 묻는 질문
'중대(Critical)' 사이버 보안 임계치란 무엇이며, 왜 Astra 가 이를 충족합니까?
OpenAI 의 준비 태세 프레임워크에 따르면, 모델이 다수의 강화된 시스템 전반에 걸쳐 기능적인 제로데이 취약점을 식별하고 구축하거나, 고수준 목표로부터 시작해 각 단계마다 사람의 안내 없이도 종단 간 새로운 공격을 실행할 수 있다면 '중대(Critical)'로 분류됩니다. OpenAI 는 Astra 가 이러한 기준을 충족한 최초의 모델이라고 밝혔습니다.
Jakub Pachocki 는 실제로 무엇을 경고했습니까?
OpenAI 의 수석 과학자인 Pachocki 는
아스트라의 가장 강력한 사이버 능력을 누가 사용할 수 있나요?
가장 진보된 사이버 보안 기능은 먼저 OpenAI의 Daybreak 연합 내 제한된 그룹에 제공되며, 보다 광범위한 방어적 접근은 Daybreak Blue를 통해 이루어지고, 고위험 계정은 제한된 응답을 받게 됩니다.
한나 콜리모어
한나는 암호화폐 분야에서 거의 10년 간의 블로그 작성 및 이벤트 리포팅 경험을 가진 작가이자 편집자입니다. 크립토폴리탄에서 한나는 뉴스 페이지에 기여하며 DeFi, RWA, 암호화폐 규제, AI 및 프론티어 테크 산업의 최신 동향을 보도하고 분석합니다. 그녀는 아카디아 대학교에서 경영학 학위를 취득했습니다.
