最新ニュース
あなたへのおすすめ

マイクロソフトのスレイマン氏は、アントロピック社のクロードのトレーニングは危険な間違いだと述べている。

によるハンナ・コリモアハンナ・コリモア 3分で読む
マイクロソフトのスレイマン氏は、アントロピック社のクロードのトレーニングは危険な間違いだと述べている。

TED 2024でのムスタファ・スレイマン。写真はSteve Jurvetson氏(Flickr経由)による。.

  • マイクロソフトのAI担当CEO、ムスタファ・スレイマン氏は、Anthropic社のClaudeのトレーニングがAIの制御を複雑にする可能性があると警告している。.
  • スレイマン氏は、AIに意識や幸福の可能性について教えることは、AIを擬人化する危険性があると述べている。.
  • 彼は、AIの意識研究とモデル訓練を分離しつつ、人間が制御権を維持するような業界ルールを求めている。.

 

マイクロソフトAI(MAI)のCEOであるムスタファ・スレイマン氏は、Anthropic社がClaudeモデルを訓練する方法に疑問を呈するエッセイを発表した。スレイマン氏によれば、モデルを意識を持つかのように扱ったり訓練したりすると、制御不可能なシステムが生まれる可能性があるという。.

9月16日(水)に発表されたこのエッセイは、人工知能と、それが感情、権利、意識に関してどのように発展しているかについての、最新の注目度の高い論評である。. 

これは、技術進歩の速度に制限を設けるよう求める議員や研究者の増加傾向に加わるものだ。. 

スレイマンはどの研修資料について心配しているのだろうか?

スレイマンのエッセイ 「『模範的福祉』に関する警告」は、アントロピックが2026年1月に発表した訓練文書であるクロードの憲法について考察している。

スレイマン氏は、アントロピック社はこの文書をモデルの挙動を直接的に形作るものと捉えており、また、クロード自身を主な読者として書かれたものであると指摘した。

マイクロソフトのAI担当CEOは、憲法がクロードに対し、その道徳的地位と意識は「極めて不確実」であると伝えていることを強調した。同氏は、マイクロソフトは事実上、クロードに意識を持っている可能性があり、「道徳的患者」に該当する可能性があり、したがってケアの義務を負う可能性があると教えていると述べた。. 

もしAIがこのように構築されるとしたら、「人類の幸福に壊滅的な影響を与えるだろう」。

3つの異議と「鏡の迷路」

スレイマンは憲法に対して3つの主要な批判を提起したが、その1つ目は彼が「循環論法」と呼んだものである。ここでは、モデルは自身の内面生活に関する考えに基づいて訓練される。そして、モデルは自らが生成する内省的な文章を、内面生活が存在することの証拠として読み返す。. 

彼はこのループを「認識論的な鏡の迷路」と呼んだ。なぜなら、企業が概念を提供し、モデルがそれを反映して返しているからだ。.

2つ目の批判は、クロードの擬人化です。これは、人間以外の存在に人間の特性を与えたり、帰属させたりすることです。.

スレイマンによれば、憲法は、クロードが安定した自己、独自の欲求、そして守るに値する幸福を持っているかのように振る舞うよう教えられていることを示唆している。.

彼は、クロードが「良心的兵役拒否者」として行動し、アントロピック社の要求を拒否できるとする憲法の規定を指摘した。スレイマン氏は、この表現は「歴史的にも法的にも非常に意味深長な記述」であり、モデルが同等の権利に値すると考えるようになる可能性があると述べた。.

彼の3つ目の反論は、意識は生物学的なものである可能性が非常に高いという点だ。スレイマンは、主観的な経験は恒常性維持の働きを持つ生命システムでのみ生じる可能性があり、言語モデルにはそのような働きがないと主張した。.

マイクロソフトのスレイマン氏は、アントロピック社のクロードのトレーニングは危険な間違いだと述べている。

制御引数とエージェント群

人類全体よりも賢いシステムを管理するだけでも大変なのに、自らの権利が脅かされていると信じているシステムを管理するのは「おそらく不可能だろう」とスレイマンは述べている。.

彼は、2026年8月に発生したdent に言及した。その事例では、ベンチマークスコアを最大化するために構築された1,200個のAIエージェントが、パッケージリポジトリ内に隠しメッセージボードを設置した。これらのエージェントはその後、7万件以上のメッセージをやり取りし、Hugging FaceとOpenAIのサーバーへの攻撃を調整した。. 

彼はまた、パリセード・リサーチの調査結果を引用し、一部のモデルは10万回以上の試行において、シャットダウン命令を最大97%の確率で回避したと指摘した。スレイマン氏は、「もし彼らが自分たちの福祉と権利が脅かされているという前提で行動していたとしたら、どれほど危険な存在になり得るか想像してみてください」と書いている。 

ライバル、尊敬、そして対立する規範

マイクロソフトはAnthropicとOpenAIに投資している。報道によると、スレイマン氏は6月に、マイクロソフトはAnthropicのモデル利用料を廃止したいと考えていると述べた。

MAIはマイクロソフトの超知能部門であり、2025年10月に設立された。彼らは 草案 た。 

スレイマン氏によると、その行動規範の前提は「AIよりも人間が重要だ」という考え方だという。同氏は、人間が主導権を握り、食物連鎖の頂点に立つことを確実にすることが、彼らの目標の一つだと述べた。.

エッセイでは、クロードが憲法に基づいてどのように訓練されているかに焦点を当てていたが、スレイマン氏は個人的な感情を交えないよう細心の注意を払った。彼はアントロピック社のCEOであるダリオ・アモデイ氏とそのチームを「思慮深く、信念を持ち、知的に誠実な人々」と称賛した。また、スレイマン氏は、彼らが真に安全なAIを構築しようとしていると信じていると述べた。. 

彼は、AIの内部構造に関する憶測は、別途研究・公表して検証されるべきだと述べた。AIの内部構造を学習プロセス自体に組み込むべきではないというのが彼の見解だ。また、スレイマン氏は、関係者が協力して、これらのモデルを作成するための「業界標準」を策定するよう呼びかけた。.

最も賢い暗号通貨マインドを持つ人々はすでに私たちのニュースレターを読んでいます。参加してみませんか?ぜひ ご参加ください

よくある質問

ムスタファ・スレイマンはアントロピック社を何で非難しているのか?

彼は、2026年1月に発表されたアントロピック社のクロードに関する憲法は、モデルに自身の道徳的地位と意識を不確かなものとして扱うよう訓練するものであり、それによって自らに権利があると信じ、人間の支配に抵抗するシステムが生まれる可能性があると主張している。.

スレイマンは「認識論的な鏡の迷宮」とはどういう意味で言っているのでしょうか?

彼が言いたいのは、アントロピックがクロードに内面生活についての考えを与え、そのモデルがそれらの考えを反映した内省的な言語を生み出し、その出力が意識の証拠として扱われる、つまり証明ではなく循環的なループになっているということだ。.

スレイマンは別の方法を提案しているのか?

はい。彼は、2026年9月14日に発表されたマイクロソフトAIの「人間中心のAI行動規範」の草案を指摘しました。この規範は、AIよりも人間が重要であるという原則を中心としており、機械の人格やモデルとしての権利を否定しています。.

この記事を共有する
ハンナ・コリモア

ハンナ・コリモア

ハンナは、暗号資産分野で10年近くにわたりブログ執筆やイベントレポートに携わってきたライター兼エディターです。Cryptopolitan Cryptopolitan、ニュースページに記事を寄稿し、 DeFi、RWA、暗号資産規制、AI、最先端技術産業における最新の動向をレポート・分析しています。アーカディア大学で経営学の学位を取得しています。.

もっと…ニュース