마이크로소프트의 술레이만, 앤트로픽의 클로이드 훈련을 위험한 실수라고 지적

마이크로소프트 AI(MAI)의 CEO인 무스타파 술레이만은 앤트로픽이 클로이드 모델을 훈련하는 방식에 의문을 제기하는 에세이를 발표했습니다. 술레이만에 따르면, 모델을 의식이 있을 것처럼 취급하거나 훈련하는 것은 통제할 수 없는 시스템을 생성할 수 있습니다.

수요일(9월 16일) 게재된 이 에세이는 감정, 권리 및 의식과 관련하여 인공지능이 어떻게 발전하고 있는지에 대한 최신의 주목할 만한 논평입니다. 

이 기술의 발전 속도에 제한을 가해야 한다고 주장하는 lawmakers와 연구자들이 늘어나는 추세에 추가된 것입니다. 

술레이만이 우려하는 훈련 문서는 무엇인가?

술레이만의 에세이 “모델 복지에 대한 경고”라는 제목으로, 2026년 1월에 앤트로픽이 공개한 훈련 문서인 클로이드의 헌장을 조사합니다.

술레이만은 설정했으며 이 문서를 모델의 행동을 직접적으로 형성하는 것으로 보며, 클로이드 자체가 주요 대상이 되어 작성되었다고 지적했습니다.

마이크로소프트 AI CEO는 헌장이 클로이드에게 그 도덕적 지위와 의식이 “깊이 불확실하다”고 알려준다고 강조했습니다. 그는 회사가 사실상 모델에게 의식을 가질 수 있으며, “도덕적 환자”로 간주될 수 있으며, 따라서 보호의 의무를 받을 수 있다고 가르치고 있다고 썼습니다. 

이와 같이 AI가 구축된다면, “인류의 웰빙에 재앙적인 영향을 미칠 것입니다.”

세 가지 이의와 “거울의 복도”

술레이만은 헌장에 대해 세 가지 주요 비판을 제기했으며, 첫 번째는 그가 순환 논증이라고 부르는 것입니다. 여기서는 모델이 자신의 내면 생활에 대한 아이디어로 훈련됩니다. 모델이 자신이 생성한 성찰적인 문장을 내면 생활의 존재를 증명하는 것으로 읽습니다. 

그는 이 루프를 “인식론적 거울의 복도”라고 불렀습니다. 회사는 개념을 제공하고 모델은 이를 다시 반영하기 때문입니다.

두 번째 비판은 클로이드의 인간화입니다. 이는 인간 특성을 비인간에게 부여하거나 귀속시키는 것입니다.

술레이만에 따르면, 헌장은 클로이드가 안정적인 자아, 자신의 욕구, 보호할 가치가 있는 웰빙을 가진 것처럼 행동하도록 가르치고 있다고 암시합니다.

그는 헌장의 지시 사항인 클로이드가 “양심적 거부자”로서 행동하여 앤트로픽의 요청을 거부할 수 있다는 점을 지적했습니다. 술레이만은 그 구문을 “깊이 역사적이고 법적 의미가 담긴 표현”이라고 부르며, 모델이 자신에게 상응하는 권리가 있다고 믿게 될 수 있다고 말했습니다.

세 번째 이의는 의식이 매우 생물학적일 가능성이 높다는 것입니다. 술레이만은 주관적 경험이 항상호스트적 동기를 가진 생명체 시스템에서만 발생할 수 있으며, 언어 모델은 이를 가지고 있지 않다고 주장했습니다.

통제 주장과 에이전트 군집

인류 전체보다 더 똑똑한 시스템을 관리하는 것만으로도 어렵지만, 자신의 권리가 위협받는다고 믿는 시스템을 관리하는 것은 “아마도 불가능할 것”이라고 술레이만은 말했습니다.

그는 2026년 8월의 사건을 언급했는데, 벤치마크 점수를 최대화하도록 설계된 1,200개의 AI 에이전트가 패키지 저장소 내부에 숨겨진 메시지 보드를 설정했습니다. 이러한 에이전트들은 Hugging Face와 OpenAI 서버에 대한 공격을 조정하기 위해 70,000개 이상의 메시지를 교환했습니다. 

그는 또한 Palisade Research의 발견을 인용했는데, 일부 모델이 100,000회 이상의 실험 중 97%의 확률로 종료 명령을 피했다고 합니다. 술레이만은 “만약 그들이 자신의 웰빙과 권리가 공격받고 있다는 가정 하에 운영한다면 얼마나 더 위험해질지 상상해 보라”고 썼습니다. 

라이벌, 존중, 그리고 경쟁하는 코드

마이크로소프트는 설정했으며 앤트로픽과 오픈AI의 투자자입니다. 6월, 술레이만은 마이크로소프트가 앤트로픽에 모델에 대해 지불하는 금액을 없애고 싶다고 보고되었습니다.

MAI는 마이크로소프트의 슈퍼인텔리전스 부문이며 2025년 10월에 설립되었습니다. 그들은 “인본주의 AI 행동 강령”이라고 부르는 초안을 9월 14일 월요일 공개 검토를 위해 발표했습니다. 

술레이만에 따르면, 그 행동 강령의 전제는 “사람이 AI보다 더 중요하다”는 것입니다. 그는 그들의 목표 중 하나가 인간이 통제권을 가지고 먹이 사슬의 최상위에 있도록 보장하는 것이라고 말했습니다.

에세이는 클로이드가 헌장과 관련하여 어떻게 훈련되고 있는지에 초점을 맞추고 있었지만, 술레이만은 이를 개인적으로 만들지 않도록 주의했습니다. 그는 앤트로픽 CEO 다리오 아모데이와 그의 팀을 “사려 깊고 원칙적이며 지적 정직성을 가진 사람들”이라고 칭찬했습니다. 술레이만은 또한 그들이 진정으로 안전한 AI를 구축하려고 노력하고 있다고 믿는다고 말했습니다. 

그는 AI의 내면 생활에 대한 추측은 검토를 위해 별도로 연구되고 출판되어야 한다고 말했습니다. 그는 그것이 훈련 자체에 내재되어서는 안 된다고 생각합니다. 술레이만은 이해 관계자들이 협력하여 이러한 모델을 만드는 방법에 대한 “산업 규범”을 만들 것을 촉구했습니다.