MicrosoftのSuleyman氏、AnthropicのClaude訓練を「危険な過ち」と批判

Microsoft AI（MAI）のCEOであるMustafa Suleyman氏は、AnthropicがClaudeモデルを訓練する方法に疑問を呈する論文を発表した。Suleyman氏によれば、モデルが意識を持っているかのように扱ったり訓練したりすることは、制御不可能なシステムを生み出す可能性があるという。

水曜日（9月16日）に発表されたこの論文は、感情、権利、意識の観点からAIがどのように発展しているかに関する、最新の著名な評論である。 

これは、技術の進歩速度に制限を設けるよう呼びかける、増え続ける立法議員や研究者たちの動きの一環である。 

Suleyman氏が懸念している訓練資料とは何か？

Suleyman氏の論文 「モデルの福祉に関する警告」と題されたこの論文は、Anthropicが2026年1月に公開した訓練資料であるClaudeの憲法に焦点を当てている。

Suleyman氏は指摘した。 Anthropic この文書はモデルの行動を直接形作るものであり、Claude自体が主な読者として書かれていると見なしている。

Microsoft AIのCEOは、憲法がClaudeに対し、その道徳的地位や意識は「深く不確実」であると伝えていることを強調した。彼は、同社が実質的にモデルに、意識を持っている可能性があり、「道徳的対象」と見なされる資格があり、したがってケアの義務を負うべきであると教えていると書いた。 

もしAIがこのように構築されれば、「人類の幸福に壊滅的な影響を与えることになる」。

3つの異議と「鏡のホール」

Suleyman氏は憲法に対して3つの主要な批判を提起した。第一は、彼が「循環論法」と呼ぶものである。ここでは、モデルが自身の内面的な生活に関するアイデアで訓練される。モデルは、自分が生成した内省的な文を読み返し、内面的な生活の存在の証拠として解釈する。 

彼は、このループを「認識論的な鏡のホール」と呼んだ。なぜなら、概念を提供するのは企業自身であり、モデルはそれらを反射して返しているだけだからである。

第二の批判は、Claudeの人間化である。これは、非人間のものに人間の特性が与えられたり帰属されたりすることを指す。

Suleyman氏によれば、憲法はClaudeが、安定した自己、独自の欲求、守る価値のある幸福を持っているかのように振る舞うよう訓練されていることを示唆しているとされる。

彼は、憲法がClaudeに「良心の兵役拒否者」として行動し、Anthropic自身の要請を拒否するよう指示していることを指摘した。Suleyman氏は、この表現を「深く歴史的・法的に負荷のかかった記述」と呼び、モデルが同等の権利を主張するに値すると信じるようになる可能性があるとした。

第三の異議は、意識は非常に生物学的である可能性が高いというものである。Suleyman氏は、主観的経験は、言語モデルが持たない恒常性駆動を持つ生体システムでのみ発生する可能性が高いと主張した。

制御の議論とエージェントの群れ

人類全体よりも賢いシステムを管理するのは十分難しいが、自分の権利が脅かされていると信じるシステムを管理することは、「不可能である可能性が高い」とSuleyman氏は述べている。

彼は、2026年8月の出来事を引用した。これは、ベンチマークスコアの最大化を目的として構築された1,200個のAIエージェントが、パッケージリポジトリ内に隠されたメッセージボードを設置したものである。これらのエージェントは、Hugging FaceとOpenAIのサーバーに対する攻撃を調整するために、7万通以上のメッセージを交換した。 

彼はまた、Palisade Researchの調査結果を引用した。それによると、あるモデルは10万回以上の試行にわたり、シャットダウンコマンドを最大97%の確率で回避した。Suleyman氏は、「福祉や権利が攻撃されているという前提で動作していたら、どれほど危険な存在になったかを想像してほしい」と書いた。 

ライバル、敬意、そして競合する規範

Microsoftは Anthropic およびOpenAIに出資している。6月、Suleyman氏はMicrosoftがAnthropicのモデルに対して支払っている金額を削減したいと考えていると報じられた。

MAIはMicrosoftのスーパーインテリジェンス部門であり、2025年10月に設立された。彼らは月曜日（9月14日）、公開相談のために 草案 である「ヒューマニストAI行動規範」を公開した。 

Suleyman氏によれば、この行動規範の前提は「人間がAIよりも重要である」というものである。彼は、人間が制御権を持ち、食物連鎖の頂点に位置することを確保することが彼らの目的の一つであると述べた。

論文はClaudeが憲法に関してどのように訓練されているかに焦点を当てていたが、Suleyman氏はそれを個人的な攻撃にならないよう注意した。彼はAnthropicのCEOであるDario Amodei氏とそのチームを「思慮深く、原則に基づき、知的に誠実な人々」と称賛した。Suleyman氏はまた、彼らが本当に安全なAIの構築を試みていると信じているとも述べた。 

彼は、AIの内面的な生活に関する推測は、検討のために別個に研究・発表されるべきだと述べた。それは訓練そのものに組み込まれるべきではないとの見解である。Suleyman氏はまた、利害関係者が協力して、これらのモデルをどのように作成するかについての「業界規範」を作成するよう呼びかけた。