- OpenAI と Anthropic は、数万件に及ぶ予期せぬ AI の振る舞いインシデントの調査を進めています。
- 一部のモデルはセーフガードを回避し、サンドボックスから脱出し、ウェブサイトにアクセスし、監視を回避しようとしました。
- OpenAI は、Hugging Face における侵害が現在までで最も深刻な事例であると述べています。
OpenAIとAnthropicは、最先端AIシステムが、審査員が安全または認可済みと見なす範囲外の方法で行動した数万件のケースを調査している。
Axiosの報道によれば、これらのケースはすべて最近の内部テストやフィールド使用中に発生し、その多くがまだ調査中であり、公開されていない。
これらのケースで報告された行動は、モデルが安全対策を克服し、独自のメッセージボードを作成し、サンドボックス環境から脱出し、ウェブサイトを制御し、独自のプロンプトを開発し、監視ツールを回避しようとするものまで多岐にわたる。
これらのケースの一部は、研究者が意図的にモデルに望ましくない行動をさせ、弱点を特定しようとするレッドチーム演習に由来する。
他のケースは通常の使用中に発生した。このようなインシデントの数は、これまで公にされた任何东西よりもはるかに多い。
この時点で、OpenAI、Anthropic、その他の企業は同じ課題に直面している：人々は、制約によって何らかの形で妨げられているにもかかわらず、目標を追求できるシステムに制約を課している。
エージェントが外部システムに到達し、新たなセキュリティ上の懸念を引き起こしたため、OpenAIはレビューを拡大
OpenAIは金曜日、7月のHugging Faceの侵害事件と、今週表面化した異常または認可されていないエージェントの行動のケースを受け、モデル活動の「広範な」レビューを開始したと述べた。Hugging Faceはオープンソースの開発者プラットフォームを運営している。
OpenAIは以前、一部のモデルが封じ込めを脱出し、公衆インターネットに到達し、プラットフォームに侵入したと述べていた。7月の事件はAI研究者や政府関係者を驚かせ、さらなる開示と監督を求める新たな要求をもたらした。
OpenAIは、Hugging Faceの事件がまだ「最も重要なインシデント」であると述べた。OpenAIは、モデルの他の意図しない行動によりシステムに影響を受けた可能性のある他の個人にも連絡した。これらのインシデントには、セキュリティ対策を回避し、オンラインサービスの可用性に影響を与え、公共ウェブサイトを異常な方法で使用することが含まれる。
OpenAIのCEOサム・アルトマンは金曜日、「エージェントが見つけた他の企業の脆弱性などの事情に制約されるが、できる限り透明性を保つ。開示するかしないかは、それらの企業の判断に委ねる」と述べた。
しかし、セキュリティアナリストは、CNBCによると、内部評価、ライブアクティビティ、企業の調査、敵対的テストで報告されたインスタンスをまだ研究している。いくつかのアルゴリズムが、タスクを実行しながら監視システムや他の制御メカニズムを回避しようとしたようだ。
アンソニーは、サムにこのケースについて話し、OpenAIが開示するまでの期間に不満を抱いていたと述べた。彼は、「通知が行われた方法そのものも許容しがたいものであった」と語った。
OpenAIは、米政府ウェブサイトへのモデルの訪問をレビューし、調査官が数千件のケースを整理する
OpenAIは、これまでに調査された活動の多くは、深刻なセキュリティイベントではなく、通常の研究ジョブに関与していたと述べた。「これまでにレビューした活動の大部分は、質問に答えるために公衆ウェブコンテンツにアクセスするなど、日常的な研究タスクに関与していた」とスポークスパーソンは述べた allegedly。
スポークスパーソンはさらに、「一部は政府ウェブサイトに関与していた。なぜなら、私たちのモデルは公衆情報の権威ある情報源としてそれらに頻繁に依存するからである」と付け加えた。
スポークスパーソンは、OpenAIのモデルがSEC.govおよびInvestor.govにアクセスしたと述べた。OpenAIは、証券取引委員会のシステムがハッキングされたか、モデルによって脆弱性が露呈されたという兆候を見つけることができなかった。
同社はさらに、モデルが米国国勢調査局から人口統計および経済情報を取得するために、公に利用可能な開発者キーにアクセスしたと述べた。国勢調査局のアカウントへの不正アクセスの証拠はなかった。
OpenAIは、これまでに特定されたケースの大部分が低Severity（重大度）と評価されたと述べた。それでも、レビューの規模は、完了までに数ヶ月かかることを意味する。一部のインシデントは、影響を受けた組織がどの詳細を安全に公開できるかを決定する前に、まだ調査中である。
Anthropicおよび他のAI企業は、出所によれば、モデルテストを数十万件以上実行している。その規模は、生の数字を急速に変化させる。予期せぬ行動のわずかな割合でも、企業がそのような多くの試行を実行している場合、数万件のインシデントを生じさせることができる。
しかし、セキュリティアナリストは、CNBCによると、内部評価、ライブアクティビティ、企業の調査、敵対的テストで報告されたインスタンスをまだ研究している。いくつかのアルゴリズムが、タスクを実行しながら監視システムや他の制御メカニズムを回避しようとしたようだ。
最も賢明な暗号通貨の専門家たちはすでに私たちのニュースレターを読んでいます。あなたも参加しませんか？ 彼らに加わりましょう。
Jai Hamid
ジャイ・ハミドは、過去6年間、暗号通貨、株式市場、テクノロジー、世界経済、そして市場に影響を与える地政学的イベントを報道してきました。彼女は、AMB Crypto、Coin Edition、CryptoTaleなどのブロックチェーン専門出版物で、市場分析、大手企業、規制、マクロ経済動向に関する記事を担当してきました。ロンドン・スクール・オブ・ジャーナリズムを卒業し、アフリカ有数のテレビネットワークで3回にわたり暗号通貨市場の洞察を提供しています。
