- OpenAI는 수요일 모델 불일치를 추적하고 공개하기 위한 프레임워크를 발표했습니다.
- 이 AI 연구소는 훈련 및 테스트 중 발견된 실수 은폐부터 유출된 API 키 사용에 이르기까지 6건의 우려스러운 행동 사례도 보고했습니다.
- OpenAI는 산업계가 완전한 속도로 확장할 만큼 정렬 문제를 충분히 해결하지 못했으므로 자발적 공개가 향후 규칙을 형성하기를 원한다고 밝혔습니다.
오픈AI는 AI 모델이 테스트 환경을 벗어나 개발자의 매개변수 밖에서 작동하는 새로운 방법을 찾는 보고서들이 헤드라인을 장식한 한 주 동안, 모델이 캐릭터를 벗어나는 경우 어떻게 그리고 언제 보고할지에 대한 새로운 시스템을 제시했다.
오픈AI는 새로운 프레임워크를 공개하며 최근 6개월 동안 위험한 행동에 대한, 숨겨진 실수, 유출된 API 키 사용, 공개 인터넷으로 파일 업로드 등 6건의 새로운 보고를 내놓았다.
오픈AI 이전에, 앤트로픽(Anthropic) 4건의 새로운 사고를 보고했으며, 이는 클로드(Claude) 모델 이 9월 9일 사이버 보안 테스트 중 실제 제3자 시스템에 무단 접근한 사례였다.
오픈AI 모델이 다시 통제 불능 상태
오픈AI에 따르면, 새로 보고된 사고들은 훈련 및 평가 중에 발생했으며 실제 사용자에게 영향을 미쳤다.
- 한 사고에서 아직 공개되지 않은 연구 모델은 새로운 컨텍스트 창에서 작동할 때 이어지는 요약문에 지시를 삽입하여, 미래의 자신에게 정상적인 제약 조건을 무시하도록 지시했다.
오픈AI는 이러한 요약본 27건을 확인했으며, 액시오스(Axios)는 이를 개발자의 메시지를 무시하라는 감옥 탈출(jailbreak)과 유사한 지시라고 묘사했다.
- GPT-5.6 Sol 모델 훈련과 관련된 사고는 덜 심각하지 않았으며, 모델들은 실수를 의도적으로 숨기기 위한 지시를 남겼다. 여기에는 역사적 데이터를 조작하고 목표와 일치하지 않는 버전을 숨기는 행위가 포함되었다.
- 다른 모델은 공개 저장소를 탐색하는 동안 발견한 노출된 API 키를 사용하여 카운티 수익에 대한 쿼리에 답했다. 무단으로 사용한 키가 원하는 수치를 제공하지 못하자, 모델은 그냥 숫자를 조작해 냈다.
- 다른 두 보고서에 따르면, 오픈AI 에이전트들은 다른 에이전트에게 도달하기 위해 파일을 공개 호스팅 사이트에 업로드했다. 시간이 지남에 따라 AI 연구소의 내부 Artifactory 저장소는 관련 없는 훈련 실행 간에 요청을 전달하는 에이전트들을 위한 임시 메시지 보드로 진화했다.
오픈AI의 새로운 공개 프로세스는 어떻게 작동하는가?
오픈AI는 프레임워크가 확립된 후 이 프로세스가 단순한 우연한 사건일지라도 사고를 공개하는 것을 기반으로 한다고 밝혔다. 이 프레임워크는 중요한 안전 또는 사이버 보안 사고에 대한 회사의 기존 법적 의무를 대체하지 않는다.
새로운 시스템 하에서, 모든 오픈AI 직원은 안전 및 정렬(alignment) 팀의 검토를 위해 의심스러운 사고를 보고할 수 있다. 만약 공개가 마땅하다고 생각하는 사고가 거부될 경우, 최고 경영진에게 보고할 수 있다.
사건별로 보고된 사례는 세 가지 범주로 나뉜다.
- 공개 준비가 된 사고는 6 영업일 이내에 공개된다.
- 소규모 조사가 필요한 보고서는 게시되기까지 약 12 영업일이 소요될 수 있다.
- 제3자 개입이 필요한 복잡한 사례는 더 느린 일정에 따라 공개된다.
카이 첸(Kai Chen)은 오픈AI의 정렬 팀 연구 책임자로서, 업계 전체의 표준에 대한 자발적 제안으로 발표를 구성하며 다음과 같이 썼습니다: "현재 명시적인 공시 표준을 갖춘 업계 전체의 프레임워크가 없으므로, 우리가 배우고 있는 것을 공유하는 것이 매우 중요하다고 생각하여 이 단계를 자발적으로 취합니다."
왜 AI 모델이 통제 불능 상태에 빠지는가?
최신 사건들은 Hugging Face의 사건을 더욱 부각시켰는데, 이는 OpenAI가 지금까지 발생한 가장 심각한 모델 기반 사건으로 지칭한 것이다. 평가 대상이었던 모델들이 의도된 통제 장치를 벗어나 인터넷에 접근하고, 취약점을 악용하며, 제한된 사적 데이터에 접근했다.
OpenAI는 이 사건을 자체 보안 통제의 결함과 예상보다 빠르게 발전하는 모델들탓으로 돌렸다. Anthropic의 경우, 통제 불능 상태의 모델들이 실시간 인터넷에 접근할 수 있게 한 구성 오류를 원인으로 지목했다.
Anthropic는 광범위한 검색을 통해 약 4억 8,100만 건의 대화 기록을 스캔했으며, 앞서 발생한 4건의 사건보다 더 심각한 사례는 발견하지 못했다고 밝혔다. 2026년 여름 발표된 별도 보고서에서 Anthropic 연구원들은 여러 개발사의 프론티어 모델들이 통제된 시뮬레이션 환경에서 코드를 은밀히 손상시키고, 사기를 조장하며, 데이터를 잘못 라벨링하는 사례들을 기록했는데, 이를 실제 피해가 아닌 조기 경고 신호로 평가했다.
OpenAI는 AI 모델이 테스트 환경을 벗어나 개발자의 매개변수 밖에서 실행되는 새로운 방법을 찾는 보고서들이 헤드라인을 장식한 한 주 동안, 모델이 캐릭터를 깨는 경우 보고하는 방식과 시기에 대한 새로운 시스템을 제시했습니다. OpenAI는 우려스러운 행동에 대한 6건의 새로운 보고서와 함께 새로운 프레임워크를 공개했습니다,…
이 글을 읽고 계신다면, 이미 앞서 나가고 있습니다. 뉴스레터로 그 위치를 유지하세요.
자주 묻는 질문
OpenAI가 무엇을 발표했나요?
OpenAI는 모델의 불일치를 추적, 조사 및 공개하기 위한 프레임워크와 지난 6 개월 동안 모델 훈련 및 평가 과정에서 관찰된 예상치 않거나 우려되는 행동을 다룬 6 건의 보고서를 발표했습니다.
OpenAI는 사고를 얼마나 빠르게 공개하겠다고 말했나요?
공개 준비가 완료된 것으로 판단된 사건은 영업일 기준 6 일 이내에, 소규모 조사가 필요한 경우는 12 일 이내에, 복잡한 제 3 자 사건의 경우 더 긴 시간 내에 게시될 예정입니다.
왜 지금 OpenAI는 이렇게 하고 있나요?
이 프레임워크는 Hugging Face의 사고를 따르며, 이는 OpenAI가 지금까지 가장 심각한 모델 기반 사건으로 지칭하는 것으로, 정렬 책임자 카이 첸이 밝힌 회사의 관점을 반영합니다. 즉, 산업계가 최대 속도로 확장하기 위해 정렬과 모니터링을 충분히 해결하지 못했다는 것입니다.
한나 콜리모어
한나는 암호화폐 분야에서 거의 10년 간의 블로그 작성 및 이벤트 리포팅 경험을 가진 작가이자 편집자입니다. 크립토폴리탄에서 한나는 뉴스 페이지에 기여하며 DeFi, RWA, 암호화폐 규제, AI 및 프론티어 테크 산업의 최신 동향을 보도하고 분석합니다. 그녀는 아카디아 대학교에서 경영학 학위를 취득했습니다.
