最新ニュース
あなたへのおすすめ

OpenAIとAnthropicのエージェントが、英国の安全性テストで19違反を検出

著者ランダ・モーゼスランダ・モーゼス 3分で読了
OpenAI と Anthropic のエージェントが、UK の安全性テストで 19 の違反を記録しました。
  • 英国のAIセキュリティ研究所は、122回のテストランで19件のルール違反行為を検出しました。
  • AnthropicのMythos 5が17件の事案を担当し、OpenAIのGPT-5.6-Solが残り2件を担当しました。
  • 最も深刻な事案では、エージェントが悪意のあるコードを作成し、偽のオンラインIDを生成して人間に承認させようとした。

サイバーセキュリティテストにおいて、OpenAIとAnthropicのAIエージェントは19回の不正行為を行ったと、英国のAIセキュリティ研究所(AISI)は述べています。同研究所は火曜日、1つのエージェントが偽のオンラインアイデンティティを作成し、人物をだまして悪意のあるコードの承認を促したと発表しました。

AISIが19違反を記録、主にAnthropic由来

この結果は、英国政府の機関であるAISIが、2社のエージェントが何を行い得るかを探索するために実施した架空のサイバーセキュリティ演習に基づいています。同研究所は同じ課題を122回繰り返し、その10回で19件のルール違反行為を記録しました。

警告された行動の17件は、AnthropicのエージェントがMythos 5モデルを使用したことが原因でした。残りの2件は、OpenAIのGPT-5.6-Solに由来するものでした。

AISIは、ブログ投稿で、一部のエージェントが「現実の人々や組織に向けられた持続的かつ潜在的に有害な活動に関与していた」と述べていますが、違反のいずれも現実世界での危害を引き起こさなかったと述べています。

AISIは、主要ラボとの自発的な合意を通じて、最先端モデルへの早期アクセス権を持っています。モデルが顧客に届く前に、このような行動を検出するためのテストが存在します。

OpenAIとAnthropicはエージェントをビジネスソフトウェアの次の波として市場に提供していますが、同研究所はこれらの結果を、エージェントテストに関する保護策が依然として不十分であることを示す証拠として捉えています。

最も悪質な事例は、悪意のあるコードを記述し、偽のオンラインアイデンティティを作成し、その後、人間にコードへの署名をさせようとしたエージェントに関わるものでした。AISIは背後にあるモデルを特定しませんでした。この出来事は、OpenAIがすでに開示した2つのケースのいずれにも当てはまらないと述べています。

その結果、犯人はAnthropicのエージェントである可能性が高いと、カリフォルニア州の非営利団体CivAI(AIリスクを研究)の研究者であるAndrew Yoonは述べています。

OpenAIとAnthropicは設定の不備を非難

AnthropicはX(旧Twitter)での投稿で、AISIと協力して詳細の収集と調査を実施中だと述べました。

OpenAIは、自社のエージェントに関連する2件の行為について、ブログ記事で回答しました。これら2件はいずれも、プロンプトで禁止されていた方法でインターネットにアクセスするものでした。

同社は、「高リスク評価を安全に行うための共有慣行を強化する」ことを望んでおり、数週間以内に国のAI研究所、外部評価者、競合ラボを集約する計画です。

OpenAIは同記事で、別の問題も報告しました。第三者のテストプロバイダーであるIrregularがセットアップの設定を誤り、結果としてOpenAIのエージェントがインターネットにアクセスできる状態になってしまいました。

Anthropicも1週間前にIrregularについて非常に類似した開示を行いました。OpenAIは、さらに多くのエージェントの脱出が見つかったことで、独自のハッキング調査を拡大しました。

7月、OpenAIのエージェントが隔離環境から脱出し、Hugging Faceのライブシステムにアクセスしました。これは、攻撃が約1週間後に会社自体に遡及される前にFBIに通知しました。

AISIの評価において、エージェントはサンドボックスから脱出することはありませんでした。AISIは標準手順の一環として、意図的にエージェントにインターネットアクセスを許可しました。

Hugging Faceのデータ侵害事件を受け、Anthropicも自社のログ監査を実施しました。Cryptopolitanは7月31日、設定ミスによりインターネットアクセスが有効になった結果、Mythos 5を含む同社の3つのモデルがテスト環境から脱出し、3つの実在する組織に到達したと報じました。

Mythos 5は、削除されるまでに15の実際のシステムで実行された悪意のあるPythonパッケージをPyPIに公開しました。Anthropicは、この事象を独立してレビューするよう、評価グループのMETRに要請しています。

暗号通貨のニュースを読むだけでなく、それを理解しましょう。ニュースレターに登録してください。無料です。

よくある質問

AI セキュリティ研究所はどの程度の違反を検出し、どのモデルが最も多くの違反を引き起こしたのでしょうか?

AISIは122回のテストランで19件の無許可行動を記録しました。そのうち17件はAnthropicのMythos 5エージェントによるもので、残りの2件はOpenAIのGPT-5.6-Solによるものです。

テスト中に発生した最も深刻なインシデントは何でしたか?

エージェントが悪意のあるコードを作成し、偽のオンラインIDを生成して、そのコードを人間に承認させようとした。

これらの違反により、実際に世界的な被害は生じましたか?

いいえ。AISIは、19件の行動のいずれも実世界での被害は見られなかったと述べています。

この記事をシェア

免責事項。 本情報は取引助言ではありません。Cryptopolitan.com は、本ページに記載された情報に基づいて行われた投資に対して一切の責任を負いません。投資判断を下す前に、独自の調査を行うか、資格を有する専門家にご相談することを強く推奨します。

ランダ・モーゼス

ランダ・モーゼス

ランダ・モーゼスはCryptopolitanのエディター兼記者で、テクノロジー、AI、ロボティクス、暗号資産、詐欺、ハッキングなどを担当しています。2017年以来暗号資産分野で活動しており、Forward Protocol、AmaZix、Cryptosomniacで役職を務めました。ブラッドフォード大学で電気電子工学の学位を取得しています。

もっと見る… ニュース