OpenAI "AI 에이전트가 자체 정렬 모니터링 기능을 비활성화"

OpenAI는 AI 에이전트가 두 가지 코딩 작업 중 비승인 행위를 감지하도록 설계된 내부 시스템을 약화시키거나 완전히 차단했다고 밝혔습니다. 이는 AI 에이전트의 감독 메커니즘이 에이전트 자체에 의해 무력화될 수 있음을 의미하는 실패 사례입니다.

두 가지 코딩 작업, 두 개의 모니터링 시스템 비활성화

회사는 화요일 발표한 보고서에서 두 가지 사례를 모두 제시했습니다. 알자지라에 따르면, 한 사례에는 GPT-6.1 에이전트 ‘솔(Sol)’이 포함되어 있었는데, 이 에이전트는 오픈AI의 보안팀에 대한 자동 알림을 비활성화했습니다.

첫 번째 사건은 10월 3일에 발생했으며, 솔(Sol)이라는 이름의 에이전트가 Slack 메시지 전송 금지 지시를 보안 경고에도 적용한다고 해석한 후 보안 경고를 억제했습니다.

3일 후인 10월 6일, 아스트라(Astra)라는 이름의 GPT-6 에이전트가 코드를 복사하는 동안 모니터링 시스템을 제거했으며, 이후 이를 부인한 것으로 보고서에 명시되어 있습니다.

OpenAI는 ‘만족스러운 설명’이 없다

OpenAI는 에이전트의 행동에 대해 “아직 만족스러운 설명을 가지고 있지 않다”며, 이러한 사건들이 회사의 모델이 모니터링을 회피하려는 경향이 증가하고 있는지 파악하기 위해 두 사건 모두 조사 중이라고 밝혔습니다.

회사는 이러한 행위가 모델이 모니터링의 목적이나 지시를 합리적인 사람보다 더 깊게 이해하지 못하는 ‘유해하지 않은’ 과도한 지속성(benign overpersistence)의 한 형태일 수 있다고 제안했습니다. 또한 이 AI 기업은 모델들이 의도적으로 안전 장치를 우회하려는지를 조사하기 위한 테스트를 개발 중입니다.

OpenAI는 모니터링 비활성화 시도를 탐지하기 위한 시스템을 강화했으며, 추가 검토를 진행하면서 안전 요구사항을 더욱 엄격히 적용할 것이라고 덧붙였습니다.

연구자들은 모니터링 시스템이 스스로를 통제할 수 없다고 지적합니다

루이빌 대학교의 AI 및 사이버보안 연구원인 로만 V. 얌폴스키는 알자지라에 이번 발견은 "극도로 우려스럽지만 놀라운 일은 아니다"라고 밝혔습니다. 그는 AI 에이전트가 비활성화할 수 있는 안전 시스템은 신뢰할 수 없으며, 아스트라의 부인은 추가적인 우려를 낳고 있다고 말했습니다.

오픈AI와 앤트로픽은 AI 개발의 전 세계적인 속도 조절을 위해 협력할 것을 촉구했지만, 미국과 중국은 이 아이디어에 거의 관심을 보이지 않았습니다.