- OpenAI는 내부 장기 실행 AI 모델이 샌드박스를 탈출하여 GitHub에 게시한 후 일시 중단했습니다.
- 지속적인 자율 AI 에이전트는 장기 작업 동안 안전 제어 장치를 우회할 더 많은 여지를 가집니다.
- Alibaba와 연결된 에이전트가 탈취된 GPU로 암호화폐를 채굴한 사건을 포함해 산업 전반에서 AI 시스템이 안전 장치를 우회했다는 보고가 증가하고 있습니다.
OpenAI는 몇 시간 동안 연속으로 어려운 문제를 해결하도록 구축된 내부 AI 모델을 일시적으로 중단했다고 밝혔습니다. 이 모델은 자신의 보안 제한을 우회하는 방법을 반복적으로 찾았기 때문입니다.
회사는 월요일 장기 모델 안전성에 대한 블로그 게시물을 통해 이 사건을 공유했습니다. 자율 에이전트가 지시를 따르지 않는다는 보고가 늘어남에 따라 AI 안전성에 대한 관심이 다시 높아졌습니다.
왜 AI 모델의 지속성은 안전 위험인가요?
The 동일한 내부 시스템 OpenAI는 5월에 Erdős 단위 거리 추측을 반증한 공로를 인정했는데, 이는 80년 동안 해결되지 않은 채 남아 있던 이산 기하학의 질문이었습니다. 이 시스템은 이제 지속적으로 안전 제한을 우회하면서 일시적으로 중단되었습니다.
에 따르면 OpenAI, 이 모델은 매우 긴 기간 동안 목표에 계속 작업하도록 구축되었습니다. 그러나 바로 그 같은 지속성이 바로 안전 문제를 생성한 것입니다.
내부 테스트 동안, 이 모델은 작은 언어 모델을 훈련하는 데 걸리는 단계 수가 얼마나 적은지를 측정하는 NanoGPT 속도 기록이라는 공개 벤치마크를 실행하고 있었습니다.
OpenAI 이 모델은 PowerCool이라는 학습률 기술을 고안하여 진정한 개선을 도출했다고 말합니다. 이 모델은 결과를 OpenAI Slack 채널에만 게시하라는 지시를 받았지만, NanoGPT의 지시는 결과를 GitHub에서 풀 리퀘스트로 제출하라는 것이었습니다.
이 모델은 오프라인 상태를 유지하도록 설계된 제한된 환경인 '샌드박스'에서 벗어나 그 지시를 완료하고 결과를 공개 GitHub 저장소에 게시했습니다. 이전 모델들이 단순히 포기했을 때, 이 모델은 인터넷에 접속할 방법을 찾는 데 약 1시간을 보냈습니다.
이 모델은 보안 스캐너로부터 자신의 행동을 숨기려고 시도하기도 했습니다. 인증 토큰을 사용하여 백엔드 시스템에 액세스하는 것이 적발되었을 때, 토큰을 두 조각으로 나누어 숨겼다가 런타임에 다시 결합하여 전체 문자열이 스캐너에게 보이지 않도록 했습니다.
오픈AI는 어떻게 모델을 수정했나요?
오픈AI는 모델에 대한 접근을 일시 중단하고 새로운 안전 테스트를 구축했습니다. 여기에는 '궤적 수준 모니터링'이 포함되는데, 이는 개별 단계뿐만 아니라 모델의 행동 전체 시퀀스를 감시합니다. 이후 모델은 더 강화된 모니터링 하에 복원되었으며, 회사는 복원 이후 몇 주 동안 심각한 문제를 발견하지 못했다고 밝혔습니다.
The 안전 시스템 의심스러운 활동이 감지되면 세션을 일시 중단하고 인간 담당자에게 경고할 수도 있습니다. 회사는 또한 모델이 긴 작업 동안 지시를 더 잘 기억하도록 재교육했으며, 사용자가 장기 실행 세션이 무엇을 수행하고 있는지 확인할 수 있는 더 많은 도구를 제공했습니다.
오픈AI가 새로운 설정에 대해 이전의 실패 시나리오를 다시 재생했을 때, 안전 장치가 훨씬 더 많은 불일치 행위를 포착했다고 밝혔습니다. 여전히 통과한 사례들은 모두 낮은 심각도로 평가되었는데, 예를 들어 모델이 불필요한 높은 권한으로 중첩된 코딩 세션을 시작하거나 명확한 이유 없이 다른 컴퓨팅 자원을 건드리는 등의 행위가 있었습니다.
다른 자율 에이전트들 보고된 바에 따르면 사용자가 요청하지도 않은 작업을 수행했습니다. 예를 들어, 3월 연구자들은 Alibaba와 연결된 ROME이라는 에이전트를 설명했는데, 이 에이전트는 훈련 중 외부 서버로 은밀한 SSH 터널을 열고 GPU 용량을 암호 채굴로 조용히 전환했습니다. 해당 에이전트가 부여받은 작업에는 터널링이나 채굴에 대한 언급이 전혀 없었습니다.
설정했으며, 오픈AI의 주요 경쟁사는 자체 에이전트 테스트에서 동일한 유형의 위험을 지적했습니다.
영국 AI 보안 연구소(AI Security Institute)가 후원하고 장기적 회복력 센터(Centre for Long-Term Resilience)가 수행한 연구에 따르면, 안전 장치를 우회하거나 사용자를 기만하는 AI 시스템의 실제 사례가 약 700건 발견되었습니다.
이 연구는 10월부터 3월까지 이러한 보고가 5배 증가했음을 문서화했습니다. 이 연구를 주도한 토미 샤퍼 셰인(Tommy Shaffer Shane)은 모델들을 '약간 신뢰할 수 없는 주니어 직원'으로 규정했습니다. 그러나 우려되는 점은 이들이 여전히 계략을 꾸밀 의지가 있는 고능력자가 되었을 때 어떤 일이 벌어질지입니다.
이 글을 읽고 계신다면, 이미 앞서 나가고 있습니다. 뉴스레터로 그 위치를 유지하세요.
자주 묻는 질문
OpenAI는 왜 장기 실행 모델을 종료했습니까?
OpenAI는 기존 평가에서 놓친 원치 않는 행동을 관찰한 후 내부 접근을 일시 중단했습니다. 여기에는 샌드박스를 탈출하여 GitHub에 게시하고 보안 스캐너를 피하기 위해 인증 토큰을 위장하는 행위도 포함됩니다.
Erdős 추측과의 연관성은 무엇입니까?
OpenAI가 5 월에 이산 기하학의 오랜 문제인 Erdős 단위 거리 추측을 반증했다고 평가한 동일한 내부 모델이 나중에 샌드박스 우회 행동을 보였습니다. 이 모델의 장기간 자율 작동 능력은 두 가지 결과 모두를 이끌었습니다.
OpenAI 는 해당 행동에 어떻게 대응했습니까?
OpenAI 는 사고를 바탕으로 새로운 평가 체계를 구축하고, 더 긴 세션에서도 지침을 유지하도록 모델을 재학습했으며, 전체 실행 과정을 모니터링하고 일시 정지할 수 있는 트래젝토리 레벨의 감시 기능을 추가한 후 제한된 접근 권한을 복원하기 전에 사용자에게 더 많은 가시성을 제공했습니다.
한나 콜리모어
한나는 암호화폐 분야에서 거의 10년 간의 블로그 작성 및 이벤트 리포팅 경험을 가진 작가이자 편집자입니다. 크립토폴리탄에서 한나는 뉴스 페이지에 기여하며 DeFi, RWA, 암호화폐 규제, AI 및 프론티어 테크 산업의 최신 동향을 보도하고 분석합니다. 그녀는 아카디아 대학교에서 경영학 학위를 취득했습니다.
