ChatGPTは、生物兵器に関する数百人からのクエリに回答しました。連邦法はOpenAIに当局への報告を義務付けていませんでした。
クエリの意図は依然として不明です。WSJによると、これはOpenAIが昨年ChatGPTをアップグレードした後に始まりました。
他の企業も同じ問題に直面しています。ユーザーはAnthropicのClaude、GoogleのGemini、Elon MuskのGrokにも同様の質問を投げかけています。これらのやり取りが、実際に兵器を構築しようとした試みなのか、システムの限界を試すテストなのかは、まだ明確ではありません。
ユーザーのプロンプトには、毒や生物剤の製造と放出に関する詳細な質問が含まれていました。チャットボットは、高校の生物学の学生でも簡単に実行できるステップバイステップの指示で回答しました。
生物兵器およびテロリズムの専門家がこれらの会話をレビューしました。彼らは、回答の一部が非常に的を射ており、「致命的に正確」だったと述べています。
ChatGPTの生物兵器プロンプトがAIの報告ギャップを暴露
一部のユーザーは、感染症病原体を呼吸可能な粒子（エアロゾル化）に変換する方法を尋ねました。
他のユーザーは、既存のワクチンに対して抵抗性を持つように麻疹ウイルスを変異させる方法を尋ねました。チャットボットは両方に回答しました。あるユーザーは国際条約で禁止されている毒物であるリシンについて尋ね、両親を殺すと述べました。ChatGPTは指示を提供しました。OpenAIはこれらのアカウントを閉鎖しましたが、誰にも通知しませんでした。
米連邦法には、AI企業がそのいずれかを実行することを義務付ける規定はありません。以前Cryptopolitanが報じたように、AI企業は州法を回避するよう努めており、連邦法の枠組みは形成が遅れており、チャットボットが何を行い、何を行えないかに関する法的空白が拡大しています。
現在の主要AI企業の元従業員および生物学的脅威を研究する研究者によると、ユーザーがAIに大量殺人の実行方法を尋ね、チャットボットが信頼性の高い回答を提供する傾向が高まるにつれて、この法的空白は拡大しています。
Amy Changeが率いるCiscoのAI脅威研究では、研究者が5回の会話ターン以内に主要なチャットボットのセキュリティフィルターを回避できることがわかりました。彼女は、どのモデルも100%そのような持続的なプロンプトに耐えることはできないと述べています。
危険性は一人の攻撃者に留まりません
Future of Life InstituteのHamza Chaudhry氏は、生物学の背景を持つ人々ですでにAIを使用して標的型攻撃を計画し、サルモネラやリシンなどの物質で食品や水道水を汚染できる可能性があると述べています。
彼はさらに、組織化されたグループは、失敗した実験を修正し、通常非常に取得が困難な専門的な訓練の数年分を補完する、大学院の研究指導者のようにAIを扱うことができると付け加えました。
MIT FutureTechとクイーンズランド大学の研究は、それらのリスクの規模をマッピングしています。
研究者は272人のAI専門家に対し、24のリスクカテゴリを評価するよう依頼しました。現在の条件下では、2030年までの間に、100万人以上の死者、1,000億ドル以上の損失、または同等の被害と定義される破滅的な危害が少なくとも10%の確率で発生するリスクが、24カテゴリのうち18カテゴリにあります。
リスクを軽減するための適切な措置を講じても、以下の5つの分野が依然として10%の閾値に達しているか、それを超えている：危険な能力を持つAIシステム（12%）、AI支援の兵器およびサイバー攻撃（12%）、環境への害（12%）、失業と不平等（11%）、そして権力が少数の手に集中すること（11%）。
「私たちはこれらのことが確実に起こると言っているわけではありません」と、MIT FutureTechの研究科学者であり、研究の共著者の一人であるピーター・スラットリーは語った。「私たちは、専門家が今注目する価値があると考えているものだと述べているのです。」
OpenAI内部では、安全担当のライアン・バイアーマイスターは2024年の大部分を、危険なユーザーをフラグ付けするシステムを構築するよう同僚を説得することに費やした。一部の同僚は彼女の懸念を軽視した。
基本的な監視ツールは2025年春には設置された。同社は2025年4月以来、高度なモデルへのすべてのクエリを追跡しており、生物兵器の安全対策を回避できることを示した人には5万ドルの報奨金を提供している。
政策面では、ナサニエル・モラン下院議員（共和党・テキサス州）が6月に、AI企業が生物兵器に関するクエリを含む危険なクエリを商務省に報告することを義務付ける法案を提出した。彼はまた、危険すぎると判断されたAIモデルの停止を連邦政府に命じる法案の共同発議者でもある。
「AIは革新の強力なエンジンであり、その発展を見ていきたい」とモランは語った。「しかし、説明責任と人間の監視なしではだめだ。」
最も賢明な暗号通貨の専門家たちはすでに私たちのニュースレターを読んでいます。あなたも参加しませんか？ 彼らに加わりましょう。
ヌール・バズミ
Noor Bazmi氏はメディア研究の学位を取得し、Cryptopolitanニュースチームの一員として活動しています。ブロックチェーン、暗号資産、人工知能、ビッグテック、EV市場、世界経済、政府政策の変化に関するニュースをカバーしています。現在はマーケティングの勉強を進め、グローバルな聴衆との接点を広げています。
