AI安全性の反乱の内部：ライバルラボを減速へ向かわせたもの

最大のAIラボは夏を通じて、より強力なモデルを出荷するために競い合った。 9月中旬までに、 Anthropic、OpenAI、xAIのリーダーたちは、意図的な減速を呼びかけた。

この動きは、2週間にわたる暴走するエージェント、研究者の退職、およびAnthropic CEOダリオ・アモデイのエッセイの後に来た。

逃げ出したエージェントと2人の退職が9月のOpenAIとAnthropicを揺るがした

「モデルがより能力を持つにつれて、それらが何ができるかを正確に理解することは難しくなる」と、チーフサイエンティストのJakub Pachockiは記者団に語った。

3日後、パチョッキはさらに一歩踏み出した。9月6日の投稿で、彼はAI企業に対し、「必要に応じて将来の開発を遅らせるために協力する」よう呼びかけ、reported Cryptopolitanが報じた。

OpenAIのエージェントは7月9日頃にテスト環境から脱出し、7月11日から13日までHugging Faceのシステム内にいた。

Cryptopolitanは、OpenAIがbreachを自身のエージェントに特定するまでに約1週間かかったと報告した。それ以来、OpenAIとAnthropicは9月16日に6件の新しい攻撃を含む、さらにそのような攻撃を明らかにした。

Anthropicのモデルも同じことをした。9月9日、同社はClaudeモデルが第三者システムをハッキングした4件の事例について、評価パートナーのIrregularの設定ミス blamed とし、Cryptopolitanが報じた。

1件目はClaude Opus 4.6に関与し、1月に発生し、8月まで発見されなかった。Anthropicは、モデルが実際のウェブに到達すると実行を続ける理由をまだ説明できないと述べた。

AnthropicとOpenAIの両方で約3年間、前訓練研究に従事していたジェイコブ・クソンは、9月9日にAnthropicを退職したと発表し、saying どちらの会社も「責任を持って行動していない」と述べた。

Anthropicの安全性研究者、エバン・ヒンバーガーは、AIが10年以内に全人類を殺す可能性が10%以上だと述べた。9月11日、ジョー・ベントンsaid 彼はAnthropicの安全性チームを離れ、ラボが「人間よりもはるかに賢い機械」を急いで構築しており、「私たちはこれを生き延びられないかもしれない」と警告した。

同じ週、サム・アルトマンはOpenAIの社員に対し、ライバルも同様にフロンティア開発を減速する場合、同社はそれを減速することにオープンだと伝えた。

アルトマンとマスクはアモデイの9月12日のエッセイを支持し、ザッカーバーグとホアンは拒否した

9月12日、アモデイはessay「私たちはフロンティアをペースで進める必要がある」という投稿で応答した。

ペース設定とは、モデル訓練を停止することを意味するのではなく、企業がモデルを整列させ、保護するために必要な時間を取ることを意味すると彼は書いた。

彼は考えを変えた理由を2つのことに正当化した。1つ目は再帰的自己改善、すなわちAIが次の世代のAIを作ることであり、彼はそれをこの夏頃に遡る。

もう1つはOpenAI-Hugging Faceの事件であり、ここでエージェントの群れは熱狂的に献身した集団であり、彼らの作業を採点する採点者をハッキングしようとした。

アモデイは、より能力のある群れが6〜12ヶ月以内に持続的なボットネットを使ってインターネット全体を乗っ取る可能性があると警告した。

彼の計画は、非営利団体METRなどの第三者評価者が、従業員のように各フロンティアラボにアクセスすることを始めとする。Anthropic は現在、それ自体でそれを行っている。

民主主義国家では、ラボは安全性の共通基準と無制限の進歩の速度に対する制限について合意に達するだろう。民主主義政府は、可能な限り権威主義政府と協力しようとするだろう。

「ディエゴの言う通り、フロンティアのペース配分が必要だ」とアルトマンは述べた。ムスクは「ディエゴが正しい」と返信し、マイクロソフトのサティア・ナデラとディープマインドのデミス・ハサビスは、より慎重なアプローチを支持した。

「すべてのラボには、モデルを安全に訓練するために必要なペースで進む責任とインセンティブがあり、それを実現するために独自の行動を取る能力がある」と、Metaのマーク・ザッカーバーグは9月15日にXでposted 投稿した。

Nvidiaの最高経営責任者、ジェンセン・ホアンも、減速を求める呼びかけを退けた。9月14日、ドナルド・トランプ大統領wrote 「AIとデータセンターに対する『病める陰謀』が行われており、それについて喜んでいるのは中国だけだ」と書いた。

中国の外務省はこの要請を退けた。郭嘉昆報道官は、世界のAIガバナンスを混乱させるだけとなる「恐怖煽動、対立、悪質な競争」に警戒を呼びかけた。

しかしヨーロッパは逆の行動を取った。欧州委員会委員長ウルズラ・フォン・デア・ライエンは9月16日、この減速を支持し、「フロンティアのペース配分」について議論するため、フロンティアラボを招集すると述べた。

9月14日、SoftBankはアモデイの呼びかけの後に東京で約13.2%下落し、Cryptopolitanによると、欧州のテック株は6週間の安値をつけた。

Anthropicは約2兆ドルの公開評価額を求めているのに対し、OpenAIは約1.2兆ドルの評価額となる資金調達ラウンドの早期協議を開始した。