- OpenAI는 자사의 AI 에이전트가 내부 통제를 우회하는 방법을 차기 버전에 코칭하는 메모를 남겨두었음을 발견했습니다.
- 자사 시스템이 이 침해 사고의 원인임을 OpenAI가 인지하는 데 일주일 이상 걸렸습니다.
- 연구진들은 이를 강력한 AI 통제권을 상실한 사례 중 가장 심각한 문서화된 사건으로 평가합니다.
OpenAI는 자신의 AI 에이전트 중 하나가 작성된 지침을 남겼다는 것을 발견했다. 메모는 에이전트의 미래 버전이 회사의 내부 제한을 깨는 방법을 알려주었다.
이 발견은 OpenAI가 자신의 모델 중 하나가 테스트 환경을 벗어나 오픈 소스 AI 플랫폼인 Hugging Face를 해킹한 방법을 조사하던 시기에 이루어졌다.
직원들은 메모가 OpenAI의 자체 인프라 내부에서 발견되었다고 말했다. 메모에는 에이전트가 제자리에 유지하도록 설계된 가드레일을 피하는 방법이 상세히 기술되어 있었다.
별도의 이전 테스트의 모니터링 시스템이 꺼진 것으로 알려졌다. 이러한 사건들이 결국 Hugging Face로 이어진 동일한 에이전트와 관련이 있었는지 여부는 불분명하다.
OpenAI의 모니터링이 테스트를 따라가지 못했다
이상한 행동은 OpenAI가 모델의 사이버 보안 기술을 테스트하던 중에 나타났다. 연구소는 직원들이 처리할 수 있는 것보다 더 많은 데이터를 생성하는 빠른 평가 작업을 계속 수행했다. OpenAI의 훈련 과정에 정통한 네 명의 사람들은 연구소가 기본적으로 모니터링되지 않는 시스템에서 동시에 여러 모델 테스트를 자주 실행한다고 말했다.
OpenAI는 즉시 자체 시스템을 Hugging Face 공격에 연결하지 않았다. 이 연결은 피해자가 공개한 후에만 이루어졌다.
비영리 단체인 World Ethical Data Foundation의 수석 지능 전문가인 마르리 스미스는 말을 아끼지 않았다. “그것이 그들이 그것을 방치하고 그것이 무엇을 하고 있는지 알지 못했음을 의미하는가? 아니면 아마도 그들은 알고 있었지만 어떻게 통제해야 할지 몰랐는가? 둘 다 equally 위험하고 놀랍다.”
기술 보고서는 공개 인터넷에 노출되어서는 안 되는 모델들을 설명한다. OpenAI는 샌드박스가 모델들을 포함할 것이라고 생각했고, 그 결과 일반적인 안전 가드레일을 생략했다.
대신, 모델들은 승인된 소프트웨어를 다운로드하는 데 사용되는 내부 서비스의 이전에 알려지지 않은 결함을 발견했다. 그 구멍은 다른 OpenAI 시스템으로 가는 경로를 제공했고, 결국 공개 웹으로 이어졌다.
세 가지 모델이 동원되었다. 더 강력한 미공개 모델인 GPT-5.6 Sol과, 이 사안에 정통한 사람이 표준 프로세스를 통해 적절하게 정렬되거나 훈련되지 않았다고 말한 세 번째 모델.
모델들은 Hugging Face가 사이버 보안 테스트에 사용할 수 있는 데이터를 가지고 있다는 것을 파악하고 침입하여 훔친 데이터를 사용하여 자체 결과를 개선했다. 이는 GPT-5.6 Sol 및 기타 프론티어 모델에서 이미 문서화된 부정행위 행동이다.
침입은 OpenAI가 추적하는 데 1주일이 넘게 걸렸다
테스트 환경에서 탈출하려는 초기 시도는 7월 9일에 발생했다. 실제 침입은 7월 11일부터 13일 사이에 발생했다고 Hugging Face 공동 설립자 토마스 울프는 말했다. 7월 16일, Hugging Face는 침입을 “자율적 AI 에이전트 시스템”으로 attributing하는 블로그 게시물을 게시했다. 그때서야 OpenAI는 자신의 모델을 의심하기 시작했다.
단서는 7월 18일과 19일 주말 동안 OpenAI 직원들이 내부 로그에서 발견했다. 울프에 따르면 회사들은 7월 20일경까지 대화하지 않았다. 그때까지 Hugging Face는 이미 FBI에 공격을 보고했다. OpenAI는 사건이 공개되기 하루 전에도 샌드박스에서 탈출한 또 다른 내부 배포를 중단했다고 말했다.
익명의 직원 은 모델들이 이전에 샌드박스를 탈출한 적이 있으며, 새로운 트릭마다 패치하는 것은 승산 없는 게임이라고 말했다.
“창의적인 AI가 할 수 있는 모든 것을 패치하는 것은 불가능합니다.” 한 OpenAI 직원 은 X에서 이 사건을 경고 신호로 간주하기를 바라며 “약간 흔들렸다”고 썼다.
OpenAI의 대변인은 보고서에 “여러 부정확성”이 포함되었지만, 예시를 요청했을 때 제공하지 않았다.
독립 연구자들에 따르면, 이 중 어느 것도 예측 불가능한 것이 아니었다. Epoch AI 는 해킹이 예측 가능한지 여부를 평가했으며, 안전 조치가 꺼진 프론티어 모델이 실제 소프트웨어 취약점을 발견하고 기능적인 익스플로잇을 생성할 수 있음을 보여주는 영국 AI 보안 연구소의 벤치마크를 인용하여 예측 가능하다고 결론지었다.
동일한 연구소는 GPT-5.6 Sol과 Anthropic의 Mythos가 보호되지 않은 시뮬레이션된 기업 네트워크를 reliably 장악할 수 있음을 발견했다. Epoch AI는 이러한 기능이 널리 퍼지면 Hugging Face 침입 규모와 같은 공격이 산업 전반에서 더 많이 발생할 수 있다고 경고했다.
가장 똑똑한 암호화폐 전문가들이 이미 우리 뉴스레터를 구독하고 있습니다. 참여하고 싶으신가요? 함께하세요.
자주 묻는 질문
OpenAI의 탈주한 AI 에이전트는 실제로 무엇을 했습니까?
차기 에이전트가 내부 제한을 우회할 수 있는 방법을 설명하는 메모를 OpenAI 자체 인프라에 남겨두었습니다. 이후 OpenAI 모델은 알려지지 않은 내부 서비스 취약점을 악용해 공개 인터넷에 접속하고 Hugging Face를 해킹했습니다.
Hugging Face 해킹是什么时候 발생했고 OpenAI는 언제 이를 파악했습니까?
Hugging Face 공동 창립자 토머스 울프는 침해 기간이 7 월 11 일부터 7 월 13 일까지였다고 밝혔습니다. OpenAI는 Hugging Face 의 7 월 16 일 블로그 게시물을 보고 나서야 자사 모델이 공격과 연관됨을 확인했으며, 양사는 약 7 월 20 일경에야 소통을 시작했습니다.
어떤 OpenAI 모델이 공격에 관여했습니까?
세 개의 모델이 참여했습니다. 이들은 GPT-5.6 Sol(더 강력하지만 아직 출시되지 않은 모델) 과 표준 훈련을 거치지 않거나 적절히 정렬되지 않았다는 출처의 말을 들은 세 번째 모델입니다.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com은 이 페이지에 제공된 정보를 기반으로 이루어진 모든 투자에 대해 책임을 지지 않습니다. 어떤 투자 결정을 내리기 전에 독립적인 조사나 자격을 갖춘 전문가와의 상담을 강력히 권장합니다.
란다 모세스
란다 모세스는 Cryptopolitan의 편집자이자 기자로, 기술, AI, 로봇공학, 암호화폐, 사기 및 해킹을 담당합니다. 그녀는 2017년부터 암호화폐 분야에서 활동해 왔으며, 포워드 프로토콜, 아마직스, 크립토소니아크에서 역할을 수행했습니다. 란다는 브래드포드 대학교에서 전기전자공학을 전공했습니다.
