마이크로소프트의 술레이만은 앤트로픽의 클로드 교육 프로그램을 위험한 실수라고 비판했습니다

마이크로소프트 AI(MAI)의 CEO인 무스타파 술레이만은 앤트로픽이 클로드 모델을 훈련시키는 방식에 의문을 제기하는 에세이를 발표했습니다. 술레이만에 따르면, 모델을 마치 의식이 있는 것처럼 다루거나 훈련시키면 제어 불가능한 시스템이 만들어질 수 있다고 합니다.

지난 9월 16일 수요일에 발표된 이 에세이는 인공지능과 그것이 감정, 권리, 의식과 관련하여 어떻게 발전하고 있는지에 대한 최근의 주목할 만한 논평입니다. 

이는 기술 발전 속도에 제한을 두어야 한다고 주장하는 입법가와 연구자들의 수가 증가하는 추세에 합류하는 것입니다. 

술레이만이 걱정하는 훈련 문서는 무엇입니까?

술레이만의 에세이 "'모범 복지'에 대한 경고"는 2026년 1월 앤트로픽이 발표한 교육 문서인 클로드의 헌법을 살펴봅니다.

술레이만은 앤트로픽이 해당 문서를 모델의 행동에 직접적인 영향을 미치는 것으로 보고 있으며, 그 문서가 클로드 자신을 주요 독자로 하여 작성되었다는 점을 지적했습니다

마이크로소프트 AI CEO는 헌법에 따르면 클로드의 도덕적 지위와 의식은 "매우 불확실하다"고 명시되어 있다고 강조했습니다. 그는 마이크로소프트가 사실상 모델에게 자신이 의식을 가질 수도 있고, "도덕적 환자"로 분류될 수 있으며, 따라서 보호 의무를 져야 할 수도 있다고 가르치고 있다고 지적했습니다. 

만약 인공지능이 이런 식으로 개발된다면, "인류의 복지에 재앙적인 영향을 미칠 것"이다

세 가지 반론과 "거울의 방"

술레이만은 헌법에 대해 세 가지 주요 비판을 제기했는데, 첫 번째는 그가 '순환 논증'이라고 부른 것이다. 여기서 모델은 자신의 내면 생활에 대한 생각으로 훈련된다. 그리고 모델은 자신이 만들어낸 자기 성찰적 문장을 다시 읽어 내면 생활이 존재한다는 증거로 받아들인다. 

그는 이러한 순환 구조를 "인식론적 거울의 방"이라고 불렀는데, 그 이유는 회사가 개념을 제공하고 모델은 그것을 그대로 반영하기 때문이다.

두 번째 비판은 클로드의 의인화에 관한 것입니다. 이는 인간이 아닌 존재에게 인간의 특성을 부여하거나 귀속시키는 것을 말합니다.

술레이만에 따르면, 헌법은 클로드가 마치 안정적인 자아, 자신의 욕망, 그리고 보호할 가치가 있는 안녕을 가진 것처럼 보이도록 교육받고 있음을 암시한다.

그는 헌법에 클로드(Claude)가 "양심적 병역 거부자"처럼 행동하여 앤트로픽(Anthropic)의 요구를 거부할 수 있다는 조항이 있다고 지적했습니다. 술레이만(Suleyman)은 그 문구가 "역사적, 법적으로 매우 편향된 표현"이며, 이로 인해 모델이 자신도 그에 상응하는 권리를 누릴 자격이 있다고 믿게 될 수 있다고 비판했습니다.

그의 세 번째 반론은 의식이 생물학적일 가능성이 매우 높다는 것이다. 술레이만은 주관적 경험은 항상성 유지 욕구를 가진 생명 시스템에서만 발생할 수 있는데, 언어 모델에는 그러한 욕구가 없다고 주장했다.

제어 인자와 에이전트 군집

술레이만에 따르면, 인류 전체보다 똑똑한 시스템을 관리하는 것만으로도 충분히 어려운데, 자신의 권리가 위협받고 있다고 믿는 시스템을 관리하는 것은 "불가능에 가까울 수도 있다".

그는 2026년 8월에 발생한dent 언급했는데, 당시 벤치마크 점수를 극대화하도록 구축된 1,200개의 AI 에이전트가 패키지 저장소 내부에 숨겨진 메시지 게시판을 만들었다고 한다. 이 에이전트들은 7만 건이 넘는 메시지를 주고받으며 허깅 페이스(Hugging Face)와 오픈아이얼(OpenAI) 서버에 대한 공격을 조율했다. 

그는 또한 팰리세이드 리서치의 연구 결과를 인용하며 일부 모델이 10만 건 이상의 시뮬레이션에서 최대 97%의 확률로 시스템 종료 명령을 회피했다고 지적했습니다. 술레이만은 "만약 그들이 자신들의 복지와 권리가 공격받고 있다고 가정하고 작동한다면 얼마나 더 위험해질지 상상해 보십시오."라고 썼습니다 

라이벌, 존중, 그리고 경쟁하는 규칙

마이크로소프트는 앤트로픽 과 오픈AI 에 투자한 기업입니다 . 지난 6월, 술레이만은 마이크로소프트가 앤트로픽에 지불하는 모델 사용료를 없애고 싶어한다고 밝힌 것으로 알려졌습니다.

MAI는 마이크로소프트의 초지능 연구 부서로 2025년 10월에 설립되었습니다. 이들은 9월 14일 월요일에 '인간주의적 AI 행동 강령'  초안을 공개하고 대중 의견 수렴에 나섰습니다

술레이만에 따르면, 해당 행동 강령의 전제는 "인공지능보다 사람이 더 중요하다"는 것입니다. 그는 그들의 목표 중 하나는 인간이 통제권을 유지하고 먹이 사슬의 최상위에 있도록 하는 것이라고 말했습니다.

이 에세이는 클로드가 헌법에 따라 어떻게 훈련되는지에 초점을 맞추었지만, 술레이만은 개인적인 공격으로 비춰지지 않도록 주의했습니다. 그는 앤트로픽 CEO 다리오 아모데이와 그의 팀을 "사려 깊고, 원칙적이며, 지적으로 정직한 사람들"이라고 칭찬했습니다. 또한 술레이만은 그들이 진정으로 안전한 AI를 만들려고 노력하고 있다고 믿는다고 말했습니다. 

그는 인공지능의 내부 작동 방식에 대한 추측은 별도로 연구하고 검토를 위해 발표해야 한다고 말했습니다. 또한 인공지능 학습 과정 자체에 이를 반영해서는 안 된다는 의견을 밝혔습니다. 술레이만은 이해관계자들이 협력하여 이러한 모델을 개발하는 방법에 대한 "업계 표준"을 마련해야 한다고 촉구했습니다.