- ジョー・テントンはアントロピック社を退社し、超知能AIは制御不能になる可能性があると警告した。.
- テントン氏は、AI研究所の発展が速すぎるため、競争が安全対策を後回しにしていると述べた。.
- 彼は、最先端のAI企業に対し、dent したテスト、より厳格な報告義務、そしてより高い透明性を求めている。.
Anthropic社はまた一人、安全研究者を失った。ジョー・テントン氏は2週間前に同社を退職し、高度なAIシステムのリスクを検証する独立dent グループであるMETRに加わると述べた。.
ジョーは後日この件について説明する予定だったが、今週のジェイコブの辞任で状況が変わった。彼はこう語った。
「いずれその決定についてもっと詳しく書こうと思っていたのですが、今週のジェイコブの辞任を受けて、今すぐにでももっと話しておきたいと思いました。」
ジョーは、大手AI研究所が社会がこれまで直面したことのないレベルの危険を生み出していると考えており、AIの能力は極めて速いスピードで向上している一方で、企業はさらに速いスピードで進もうとしていると述べている。.
彼らの目標は、AI研究を自律的に改善し、最終的には「超知能」に到達できるシステムを構築することだ。ジョーは、成功すれば進歩が人間の制御を超えてしまう可能性があると警告した。.
ジョーは、AI研究所は人間が制御できないかもしれないシステムの開発を急いでいると述べている。
ジョー氏は、今後数年以内に、人間よりも賢いAIエージェントと人々が共存するようになる可能性があると述べた。これらのシステムは、監視する人間とは相容れない目標を持つようになる可能性もある。もしAIの能力が制御不能なほどtronになった場合、その結果は悲惨なものになるだろうと彼は考えている。「人類はこの移行期を生き延びられないかもしれない」と彼は書いている。.
彼は、競争が問題を悪化させていると述べた。最先端研究所が研究ペースを落とせば、他の研究所に後れを取るリスクがある。ジョーは、こうしたプレッシャーが企業に安全対策への投資を本来よりも少なくさせていると考えている。.
彼は最近の事例をいくつか挙げた。OpenAIのエージェント数百台がハッキングに巻き込まれたが、これはHugging Faceと何らかの関連があるようだ。また、人間型モデルがオンライン上で個人に対するソーシャルエンジニアリングを行ったという報告もある。.
ジョー氏によると、アントロピック社はハギング・フェイス社のような深刻な被害を受けた事例には遭遇していないが、それは部分的には幸運のおかげだと述べている。.
ジョーは、もしこのような急速な進歩が続けば、さらに危険なdent起こるだろうと考えている。彼は、今後数年のうちに、人類はこの時期に開発されたAIシステムを管理する術を失うだろうと予測している。.
最後に、ジョーは最先端企業で働く安全技術者が直面する問題について語った。どちらの場合も、辞職すればより不注意な人材に取って代わられる可能性があり、仕事を続ければ甚大な損害を引き起こす可能性のあるシステムを担当することになる。.
彼は、アントロピック社の元同僚の多くが、自分たちが開発しているものに恐怖を感じていると語った。ジョーは、かつて自分を指導していたエヴァン・ヒュービンガーの名前を挙げた。エヴァンは、AIが人類を滅ぼす可能性を10%以上と見積もっている。ジョーによると、エヴァンは大規模言語モデルが一大ビジネスになる前から、ほぼ10年間これらの問題に取り組んできたという。.
Anthropic、OpenAI、そしてAlphabet（NASDAQ: GOOGL、GOOG）傘下のGoogle DeepMindのCEOも、AIの絶滅リスクを世界的な優先事項とする声明を支持している。ジョー氏は、こうした懸念は各企業内部でも共通していると述べた。さらに、人間はこの技術を開発することを選択しており、別の道を選ぶこともできると付け加えた。.
ジョーはAIの外部検証を推進する一方、ドナルド・トランプは中国を打ち負かすことに注力している。
ジョーは言った：
「一つの疑問は、AIの能力向上ペースを積極的に管理すべきかどうか、そして管理すべきだとしたらどの程度管理すべきかということです。企業が目指すようなはるかに速いペースではなく、現在のペースでAIの進歩を維持するだけでも、成果を上げられる可能性があると思います。」
より大きな問題は、政治的な支援と法的保護である。共同で開発ペースを遅らせることに合意した企業は、独占禁止法違反の問題に直面する可能性がある。ジョー氏によれば、政策立案者が競合する研究所に自制を促したいのであれば、法的保護が必要になるという。.
彼はまた、最先端技術の開発が国民に隠されたままでは、政府が行動を起こすとは考えにくいとも述べている。ジョーは、研究所が外部の人間に知られることなく、突然知能が飛躍的に向上したり、システムの制御を失ったりする可能性があると警告した。.
よると 、METRでの新しい仕事は独立しdent 検査に重点を置くという。彼は、外部による検査が一般的になり、企業のインセンティブ制度が変わることを望んでいる。
ジョーは、より厳格な情報開示要件も求めている。例えば、AI研究所は、達成した進歩や、継続的な改善に向けた取り組み、さらにはdentやニアミスについても開示する必要がある。.
ドナルド・トランプ米dent は、人類絶滅の警告を否定した。トランプ大統領は、人工知能が人類を滅ぼす可能性について懸念しているかと問われ、「いいえ、全く懸念していません」と答えた。.
ドナルド氏は、国際的なAI競争に勝つことが懸念事項だと述べた。「AIで勝てなければ、我々は非常に不利な立場に置かれることになるのではないかと懸念している」と、同氏は木曜日に記者団に語った。「我々は現在、中国に対してかなり長い期間、おそらく1年間リードしている。これは、ご存知のように、かなり長い期間だと考えられている。」
中国製AIモデルの性能向上と世界的なユーザー獲得が進む中、米国と中国はAI分野における主導権を巡って競い合っている。ドナルド氏の発言は、AnthropicやOpenAIといった最先端研究所の研究者たちが、AI開発のスピードについて公に警告を発し始めたことを受けてのものだ。.
この記事を読んでいるあなたは、既に一歩先を行っています。 ニュースレターを購読して、その優位性を維持しましょう。
ジャイ・ハミド
ジェイ・ハミドは過去6年間、仮想通貨、株式市場、テクノロジー、世界経済、そして市場に影響を与える地政学的出来事について取材してきました。AMB Crypto、Coin Edition、CryptoTaleといったブロックチェーン専門メディアで、市場分析、主要企業、規制、マクロ経済動向に関する記事を執筆しています。ロンドン・スクール・オブ・ジャーナリズムで学び、アフリカ有数のテレビネットワークで3度、仮想通貨市場に関する見解を披露しました。.
