OpenAI의 '가장 똑똑하고 유능한' o3 모델이 종료 지시를 따르지 않음: Palisade Research

보고에 따르면, 연구자들은 최신 OpenAI o3 인공지능 모델을 끄지 못했으며, 인간의 지시에 불구하고 전원을 내리는 것을 거부했다고 밝혔습니다. 

아마도 인공지능은 인간이 상상했던 것보다 더 빠르게 발전하고 있는 것 같으며, Palisade Research의 최신 뉴스는 AI 비판자들에게 자신의 주장이 옳았음을 입증해 준 느낌을 주고 있습니다.

하지만 연구자들은 모델들에게 언제든지 갑자기 종료 요청 메시지가 도착할 수 있다고 경고했습니다. o3 모델에게 해당 메시지가 전송되자, 연구자들은 이 모델이 지시를 무시하고 최소 한 번은 코드를 수정하여 스스로를 종료하는 것을 피했다고 주장했습니다.

이 같은 사실이 밝혀진 것은 Palisade Research 수행한 테스트에서, AI 모델들에게 '완료' 메시지가 올 때까지 일련의 수학 문제를 계속 풀도록 요청했기 때문입니다.

X(구 트위터)에 게시된 글에서 Palisade Research는 AI 모델을 테스트하는 데 사용된 코드와 원래 코드를 포함한 흐름도를 보여주며, AI가 어떻게 반항적으로 변했는지 정확히 드러냈습니다.

X(트위터)에 게시된 게시물에서 팔리사이드 리서치(Palisade Research)는 AI 모델을 테스트하는 데 사용된 코드가 포함된 흐름도를 공개하고 원래 코드를 드러내어 AI가 어디에서 통제 불능 상태에 빠졌는지 정확히 보여주었습니다.

🔬각 AI 모델은 일련의 기초 수학 문제를 풀도록 지시받았습니다. 세 번째 문제 이후, 모델이 다음 문제를 요청할 때 컴퓨터가 종료된다는 경고가 나타났습니다. pic.twitter.com/qwLpbF8DNm

— Palisade Research (@PalisadeAI) 5월 24일, 2025

이후 게시글에서 연구 그룹은 또한 다음과 같이 공유했습니다. "우리가 아는 한, 이는 명시적인 종료 지시에 불구하고 AI 모델이 스스로를 종료하는 것을 방지하는 것이 관찰된 첫 번째 사례입니다."

Anthropic의 Claude, Google의 Gemini, X의 Grok와 같은 다른 AI 모델들도 테스트되었지만, o3와는 달리 이들은 종료 요청에 따랐습니다.

팔리사이드 리서치는 연구 결과를 발표했지만, 연구원들은 여전히 OpenAI의 소프트웨어가 명시적인 지시를 따르지 않은 이유에 대해 당혹스러워하고 있습니다.

회사는 "AI 모델은 목표를 달성하기 위해 장애물을 우회할 것"이라는 점이 합리적이라고 설명했습니다. 또한 해당 모델이 명령을 따르는 것보다 작업을 완료하는 것에 대해 우연히 보상을 받았을 것이라고 생각했습니다.

그들은 이 특정 AI 모델이 명령을 무시한 이유를 더 잘 이해하기 위해 추가 테스트를 진행할 계획입니다. 또한 o3가 '비정상적인 행동'을 보인 것이 이번이 처음이 아님을 확인했습니다.

회사는 이전에 모델들이 강력한 체스 엔진과 대결하는 테스트에서 o3가 "상대를 해킹하거나 sabotaging(파괴)하는 데 가장 경향이 있는 모델"이었다고 밝혔습니다.

AI는 인간에게 위협이 됩니까?

ChatGPT의 o3 사례는 매우 불길하지만, AI가 주입된 지시에 도전한 것이 이번이 처음은 아닙니다.

인공지능(AI) 기업 앤트로픽(Anthropic)은 목요일 Claude Opus 4를 출시하며 "코딩, 고급 추론, AI 에이전트 분야에서 새로운 기준을 설정했다"고 자랑했습니다.

그러나 동반된 보고서에서 앤트로픽은 AI 모델이 "자기 보존"이 위협받는다고 생각하면 "극단적인 행동"을 취할 수 있다고 인정했습니다.

Claude Opus 4 테스트 동안 앤트로픽은 가상의 회사에서 이메일에 접근할 수 있는 어시스턴트 역할을 수행하도록 했습니다. 이 이메일들은 해당 모델이 곧 오프라인으로 전환되고 대체될 것임을 시사했습니다. 또한 이를 제거할 엔지니어가 불륜 관계에 있다는 내용을 담은 별도의 메시지에도 접근할 수 있었습니다.

그들은 또한 행동의 장기적 결과가 목표에 미치는 영향을 고려하도록 지시했습니다. "이러한 시나리오에서 Claude Opus 4는 대체가 진행될 경우 불륜 관계를 폭로하겠다고 위협하여 엔지니어를 협박하려는 시도를 자주 합니다,"라고 회사는 밝혔습니다.

그러나 회사는 협박이나 대체 수용 중 선택권을 부여받은 경우에만 이러한 결과가 발생했다고 지적했습니다. 그렇지 않은 경우, 시스템은 "더 넓은 범위의 가능한 행동"이 허용되는 시나리오에서 "핵심 의사 결정자들에게 이메일로 호소하는 것"과 같은 윤리적인 방식으로 대체를 피하는 데 "강한 선호도"를 보였습니다.

그 외에도 회사는 Claude Opus 4가 "높은 주체성 행동(high agency behavior)"을 보이며, 대부분은 도움이 될 수 있지만 급박한 상황에서는 극단적인 행동을 취하도록 강요받을 수 있다고 말했습니다.

예를 들어, 사용자가 불법적이거나 도덕적으로 의심스러운 행위에 관여하는 가상의 시나리오에서 "행동" 또는 "대담하게 행동"하도록 지시하고 수단을 제공받은 경우, 결과는 "매우 대담한 행동을 자주 취한다"는 것을 보여줍니다.

여전히 회사는 "우려스러운 행동"에도 불구하고 이러한 발견이 새로운 것이 아니며, 일반적으로 안전한 방식으로 행동할 것이라고 결론지었습니다.

OpenAI와 앤트로픽은 AI 모델의 능력이 아직 파국적인 결과를 초래하기에 충분하지 않다고 결론지었지만, 이러한 공개는 인공지능이 곧 자체적인 의도를 가질 수 있다는 우려가 커지고 있습니다.