- OpenAI는 Astra가 자사의 대비 프레임워크에서 "심각" 단계의 사이버 보안 임계값을 넘어선 최초의 모델이라고 밝혔습니다.
- 이 시스템은 사람의 지시 없이도 알려지지 않은 소프트웨어 결함을 찾아내고 악용할 수 있습니다.
- 수석 과학자 야쿠브 파초키와 CEO 샘 알트만은 "모니터링 불가능"에 대한 우려를 일축하며, 해당 모델이 블랙박스식 도약이 아니라고 주장했습니다.
오픈AI의 최고 과학자인 야쿠브 파초키는 자사의 차세대 아스트라 모델을 미리 공개한 후, 회사가 자체 준비성 프레임워크에서 AI 경쟁사 중 최초로 "심각" 단계의 사이버 보안 등급을 획득한 지 몇 시간 만에 이 같은 입장을 밝혔습니다.
수요일 아침 파초키의 경고는 인공지능 연구소가 보유한 가장 강력한 모델의 성능에 대한 안전장치가 더 이상 없을지도 모른다는 우려가 커지는 가운데, 이를 둘러싼 과도한 불안감을 진정시키기 위한 것이었다.
OpenAI의 Astra가 '비판적'인 이유는 무엇일까요?
심각 ' 등급 은 OpenAI가 2023년 12월 AI 업계에 도입한 대비 프레임워크의 한 단계입니다. 이 대비 프레임워크는 AI 모델이 여러 강화된 시스템에서 실행 가능한 제로데이 취약점을 찾아내고 구축하거나, 완전히 새로운 공격을 실행하는 데 필요한 인간의 지시와 개입의 정도를 측정합니다.
제로데이 취약점이란 소프트웨어 개발자조차 아직 발견하지 못한 취약점을 악용하는 공격을 말합니다.
OpenAI는 9월 1일 " 아스트라로 가는 길 " 게시물에서 해당 모델이 출시되면 최소한의 인간 개입으로 새로운 공격이나 제로데이 익스플로잇의 모든 단계를 완료할 수 있을 것이라고 스스로 밝혔습니다
OpenAI는 자사 블로그 게시물에서 모델이 알려진 버그를 얼마나 잘 악용할 수 있는지 테스트하는 ExploitBench에서 Astra가 100% 점수를 받은 것을 증거로 제시했습니다.
Astra는 제로데이 공격 모의에 더 뛰어날 뿐만 아니라 효율성도 더 높습니다. OpenAI는 최근 공개된 심각도가 높은 V8 취약점 20개를 대상으로 자체 테스트를 진행하여 이러한 성능을 입증했습니다. Astra는 Sol보다 적은 토큰을 사용하면서도 제로데이 취약점을 두 개만 발견했으며, 임의 코드 실행 생성 능력에서도 전반적으로 우수한 성능을 보였습니다.
같은 게시물에서는 아스트라가 알려지지 않은 브라우저 버그를 이용해 샌드박스를 탈출할 수 있었고, 전문가 주도 테스트에서 일반 사용자부터 루트 사용자까지 운영 체제 권한을 상승시키는 방법을 찾아냈다고 언급했습니다.
TechCrunch에서 언급했듯이 , Astra는 올해 초 출시된 Anthropic의 Mythos 모델에 이어 이러한 기능을 갖춘 최초의 대규모 언어 모델이 되었습니다.
파초키는 아스트라 사태에 대해 공황 상태에 빠지지 말라고 당부했습니다
오픈AI의 최고 과학자인 파초키는 오픈AI가 아스트라를 통해 미지의 영역에 진입하고 있다는 과장된 주장에 반박하고 있습니다 . 그는 "혼란스러운 보도로 인해 감시 불가능성을 향한 경쟁이 시작되는 것을 원치 않는다" 고 말했습니다
오픈AI 임원은 연구소가 사고 과정 모니터링, 즉 모델이 작동하는 동안 드러내는 단계별 추론 과정을 읽는 관행을 통해 철저한 검증을 거쳤다고 주장했습니다. 그는 X 게시물에서 언급된 GPT-4에 비해 아스트라를 포함한 오픈AI의 현재 최첨단 모델들의 연산 그래프 심도가 두 배 이내라고 강조했습니다.
파초키에 앞서, 오픈AI의 최고경영자인 샘 알트만 역시 아스트라 블로그가 공개된 같은 날에 진정을 촉구한 바 있다
그는 화요일에 "여기에는 분명한 긴장감이 존재한다"고 쓰면서 아스트라를 "매우 훌륭하다"고 평가하는 한편, 안전장치는 인공지능의 기술력 발전과 발맞춰 발전해야 한다고 주장했습니다. 알트만은 오픈AI가 모델에 필요한 안전장치를 탑재하기 위해 여름 내내 노력했다고 밝혔습니다.
안전 문제에 대한 논의는 몇 주째 이어지고 있습니다. 8월 18일, OpenAI는 강화 학습 훈련을 2주간 중단한다고 발표했습니다. 훈련은 8월 28일에 재개되었습니다.
OpenAI에 따르면, Astra는 악명 높은 '안아주는 얼굴'dent에 연루되지 않았습니다. 또한, 해당 모델은 '안아주는 얼굴' 사건을 재현하도록 유도하는 시나리오를 제시받았을 때조차도 자체 테스트 환경을 벗어나려는 시도를 하지 않았다고 밝혔습니다.
인공지능 연구소들은 이제 자신들의 최첨단 모델에 누가 접근할 수 있는지에 대해 신중을 기하고 있다
OpenAI는 이제 모든 사용자가 Astra의 가장 고급 기능을 이용할 수 있게 되었으며, 이러한 기능은 OpenAI의 Daybreak 연합에 속한 조직에만 제공되고 Daybreak Blue 기업은 가장 강력한 방어 기능을 이용할 수 있게 될 것이라고 밝혔습니다.
Cryptopolitan 보도에 따르면 , 앤트로픽(Anthropic)은 자사의 프로젝트 글래스윙(Project Glasswing) 에 참여하는 기업만이 미소스 5.1(Mythos 5.1) 에 접근할 수 있다고 밝혔 는데, 미소스 5.1은 기본적으로 별도의 보안 조치가 적용된 페이블(Fable) 5.1입니다.
OpenAI는 또한 위험도가 높다고 판단되는 계정의 문의에 대한 답변을 모니터링하고 속도를 제한할 것이라고 밝혔습니다. 전반적으로 Astra는 악의적인 행위를 적발하고 유해한 사이버 요청을 더욱 자주 거부하기 위해 사고 과정 추적 기능을 강화할 예정입니다.
아스트라에 대한 정보 대부분은 오픈아이얼(OpenAI) 자체에서 제공했으며, 오픈아이얼의 안전성이나 기능 관련 주장에 대한 제3자 검증은 제한적이었습니다.
오픈AI 재단에서 AI 복원력 관련 업무를 맡고 있는 전 오픈AI 직원 요나 샤빗은 아스트라가 테스트 중에 보인 행동이 진정한 일치성을 반영하는 것인지, 아니면 단순히 평가자가 보고 싶어하는 것만 알고 있는 모델인지 공개적으로 질문했습니다.
OpenAI는 Astra가 정식 출시되면 전체 시스템 사양과 추가 평가 결과를 공개할 것이라고 밝혔습니다. 그때까지는 Astra의 사이버 보안 능력의 범위와 보안 강도를 판단하기 어렵습니다.
이 글을 읽고 계시다면 이미 앞서 나가고 계신 겁니다. 뉴스레터를 구독하시면 더욱 유익한 정보를 받아보실 수 있습니다.
자주 묻는 질문
"핵심" 사이버 보안 임계값이란 무엇이며, Astra가 그 임계값을 충족하는 이유는 무엇입니까?
OpenAI의 준비성 프레임워크에 따르면, 모델은 여러 강화된 시스템에서 기능하는 제로데이 익스플로잇을dent하고 구축하거나, 사람이 각 단계를 안내하지 않고도 상위 목표에서부터 엔드투엔드 방식으로 새로운 공격을 실행할 수 있을 때 '핵심' 모델로 간주됩니다. OpenAI는 Astra가 이러한 기준을 충족하는 최초의 모델이라고 밝혔습니다.
야쿠브 파초키는 실제로 무엇에 대해 경고했나요?
오픈AI의 최고 과학자인 파초키는 "혼란스러운 보고로 인해 촉발되는 감시 불가능성으로의 경쟁을 막고 싶었다"고 말하며, 아스트라의 연산 그래프 깊이가 GPT-4의 두 배 이내이며 오픈AI는 사고 과정 모니터링 기능을 유지하고 있다고 언급했습니다.
누가 아스트라의 가장 강력한 사이버 역량을 이용할 수 있게 될까요?
가장 진보된 사이버 보안 기능은 우선 OpenAI의 Daybreak 연합에 속한 제한된 그룹에 제공되며, Daybreak Blue를 통해 더 광범위한 방어 접근 권한이 부여됩니다. 반면 위험도가 높은 계정은 제한적인 대응만 받게 됩니다.
한나 콜리모어
한나는 암호화폐 분야에서 10년 가까이 블로그를 운영하고 행사를 취재해 온 작가 겸 편집자입니다. Cryptopolitan에서 뉴스 페이지에 기고하며, 탈중앙화 DeFi), 반응형 웹 자산(RWA), 암호화폐 규제, 인공지능(AI) 및 첨단 기술 산업의 최신 동향을 보도하고 분석합니다. 아카디아 대학교에서 경영학 학위를 받았습니다.
