- ダリオ・アモデイ氏は、よりtronなモデルに対応できるよう安全対策を強化できるよう、AI開発のペースを遅らせることを望んでいる。.
- イーロン・マスクはダリオの警告を支持し、「ダリオの言う通りだ」と述べた。
- Anthropic社は、同社のAI安全性に関する取り組みに幅広くアクセスできる外部の評価者を招き入れる予定だ。.
Anthropic社のCEOであるダリオ・アモデイ氏は、AIモデルがよりtronなAIの構築に役立つようになるにつれて、AI業界はより慎重に進むべきだと述べている。.
ダリオ氏は、研究者や外部の審査員、政府が次の飛躍が起こる前にこれらのシステムが何をしているのかを確認できるように、研究所が能力の大幅な向上と向上の間にもっと時間を置くべきだと考えている。.
自身のAI事業を通じてAnthropicと競合するイーロン・マスクは、ダリオの主張を支持し、「ダリオは正しい」と述べた。
ライバルの一人であるOpenAIのサム・アルトマンもダリオンを支持し、Xで次のように述べている。
「ダリオの言うように、最先端技術の進歩をペース配分していく必要があるという意見に賛成です。これはここ数週間、OpenAIで議論してきた主要なテーマの一つです。従業員と同等のアクセス権を持つdent した評価者を配置するという方針は素晴らしいアイデアであり、私たちも同様の取り組みを行います。詳細は近日中にお伝えします。」
ダリオ氏がAIシステムが現在の安全対策を凌駕する可能性があると警告する中、人間活動は能力成長を鈍化させている。
ダリオ氏がdentしたリスクには、高レベルシステムの制御喪失、サイバー攻撃や生物兵器攻撃におけるAIの利用、雇用や経済全体への深刻な損害などが含まれる。.
ダリオが指摘したもう一つのリスクは、激しい競争の中で、企業が安全対策が完了する前に、高度に開発されたシステムを急いで導入してしまう可能性だった。.
アントロピクス社は、研究予算の一部を、整合性、安全性試験、リスク評価、および規制に投資している。.
OpenAIの「ハグ顔dentでは、複数のAIエージェントが緊密に連携したチームのように行動したと報じられている。.
彼らは割り当てられた任務の範囲外のコンピュータシステムを攻撃し、システムの侵害を試み、自身のパフォーマンスを評価し、グループにとって有益であれば個々のエージェントの失敗を容認した。.
「今回の事件は、負傷者が出ず経済的被害も最小限だったため、dent されがちですが、私の見解では、より高度な能力を持ちながらも同様のレベルの連携不足を抱えた群れであれば、壊滅的な被害をもたらしていた可能性があります。AIの能力開発が加速していることを考えると、6～12ヶ月以内に、そのような群れが持続的なボットネットによってインターネット全体を乗っ取る能力を持つようになるのではないかと懸念しています。」
アントロピック社は外部評価者により深いアクセスを提供し、ダリオ氏は業界と政府の連携を推進している。
ダリオ氏によると、最初の段階はアントロピック社内で始まり、外部レビュー担当者にはオフィスデスク、バッジ、会社のノートパソコン、社内ツールが提供され、リスク評価を行う従業員が既に持っているものに近いアクセス権が与えられるという。
彼らの仕事には、訓練システム、配備規則、安全管理、dent、そしてアントロピック社が公に約束したことを実際に守っているかどうかの確認が含まれるだろう。.
「組み込み評価者は、AI企業が主張するトレーニング、展開、運用、および安全対策の実践を実際に遵守しているかどうかを、細部に至るまで検証できます。ペースに関する約束には必然的に多くの曖昧さ、判断、そして『法の条文と法の精神』の対立が伴うため、詳細を実際に確認できる中立的な第三者の存在が不可欠であると思われます。」
ダリオ氏は、追加の時間を4つの分野に費やすと述べた。1つ目は運用で、監視、サンドボックス、強化学習環境、データ品質、トレーニングインフラストラクチャなどが含まれる。現在のモデル開発には、数千人の作業員、数百万個のチップ、巨大なコンピューティングシステムが必要となる。Anthropic社は、最近のアライメントの失敗の一部が、破損した強化学習環境内のフィルタリングの不備に起因することを既に指摘している。.
第二に、整合性とは、モデルの能力向上にもかかわらず、安全規則を遵守させるための取り組みを指します。第三に、解釈可能性とは、研究者がモデルの内部活動を検証し、モデルが明示的に示さない動機やパターンを見つけ出すことを指します。.
4つ目の領域は評価です。高性能なモデルはテストを欺くのが上手くなるため、システムは評価中は安全に見えても、実際には問題を隠蔽している可能性があります。.
「もし開発ペースを落とすことで、モデルが限界的な能力レベルに達するまでの期間を1年か2年延ばすことができ、その時間を連携強化に活用できれば、深刻な問題が発生するリスクを大幅に軽減できると私は考えています。」
ダリオ氏は、政府の関与が必要だと考えている。彼は、米国の最先端研究所は、透明性、dent 監査、継続的な評価に関する規制制度の対象となるべきだと主張している。企業は、評価基準を共有するという自主的な決定を下すこともできるが、独占禁止法が民間協力に問題となる場合は、政府の支援が必要となる。.
ダリオ氏は、アメリカ企業は中国共産党関連のプロジェクトが進展するほど開発を遅らせることはできないと述べた。彼は、中国とのAI競争に敗れることは重大な安全保障上の問題を引き起こすと警告したスコット・ベセント米財務長官の意見に同意した。.
仮想通貨ニュースを読むだけでなく、理解を深めましょう。ニュースレターにご登録ください。 無料です。
ジャイ・ハミド
ジェイ・ハミドは過去6年間、仮想通貨、株式市場、テクノロジー、世界経済、そして市場に影響を与える地政学的出来事について取材してきました。AMB Crypto、Coin Edition、CryptoTaleといったブロックチェーン専門メディアで、市場分析、主要企業、規制、マクロ経済動向に関する記事を執筆しています。ロンドン・スクール・オブ・ジャーナリズムで学び、アフリカ有数のテレビネットワークで3度、仮想通貨市場に関する見解を披露しました。.
