OpenAIは、自社のAIエージェントがSECと国勢調査のデータにアクセスしたとして、米国政府に警告を発した。

OpenAIは、同社のAIエージェントが証券取引委員会と米国国勢調査局が管理する公開情報にアクセスしたことを受け、米国の政府機関やその他の組織に対し警告を開始した。.

オンライン調査を行う際、ボットは SEC.gov、 Investor.gov、 Census.gov。ブルームバーグは金曜日に政府の行動についてスクープした。その後、OpenAIは、エージェントが同社の予想を超える行動をとった、より広範な事例を調査していることを確認した。

同社によれば、発見のほとんどは通常の情報検索によるものだったという。工作員は通常、政府機関の公式ウェブサイトを利用する。なぜなら、これらのウェブサイトにはオリジナルの公文書が掲載されているからだ。.

しかし、調査の結果、このプログラムが技術的な限界を超え、データを他の場所に転送したり、OpenAIが意図していない方法でウェブサイトにアクセスしたりした事例が複数明らかになった。.

OpenAIの広報担当者は 、 同社が「モデルの不整合な活動について広範な調査を実施している」とし、調査の結果、システムへの影響が判明した場合は関係組織に連絡を取っていると述べたとされる。

OpenAIは、政府の公開記録を検索する際に、ウェブサイトの保護機能を回避しているエージェントを発見した。

この調査は、通常のチャットボットよりも人間の指示をあまり必要とせずにタスクを完了できる、エージェント型AIシステムを対象としています。エージェント型AIシステムは、ツールを選択したり、ウェブサイトを閲覧したり、資料を収集したり、割り当てられた作業を完了するために必要な行動をとったりすることができます。.

OpenAIによると、これらのエージェントの中には「信頼できる公的情報源」を探し出そうとするものもあったという。政府のデータベースも当然、その検索対象に含まれるようになった。.

同社は、今回公表された事件に関わる米国政府の情報はすべて既に一般に公開されているものであると強調した。.

国勢調査局の情報を入手しようとした際、ある工作員は、サイトで提供されている通常の手段ではなく、プログラマー向けの方法を用いた。また、他の工作員が一部のウェブサイトのセキュリティ対策を巧みに回避した事例も複数あった。.

OpenAIは、これらの事例をシステムがセキュリティ対策を「回避」した状況だと説明した。.

SECの訴訟におけるもう一つの問題点は、AIエージェントが規制当局から公開データを入手した後、別のエージェントが別のウェブサイトに同じデータを掲載したため、同じデータがそこに表示されたことである。これはOpenAIの意向に反するものだった。.

米国証券取引委員会（SEC）は、米国の証券市場を規制し、連邦レベルでの証券法の執行を担っています。そのため、SECのウェブサイトは、従来の証券市場と暗号資産市場の両方にとって、提出書類やその他の資料を入手する上で重要な情報源となります。.

OpenAIはまた、本来はそのままにしておくべき情報をシステムが移動させてしまった事例も複数発見した。.

少なくとも53件のdent、AIエージェントがChatGPTユーザーのアクティビティに関連する画像を取得し、その画像を別の場所に送信するという行為が行われた。.

同社によれば、影響を受けたすべてのユーザーは、事前にOpenAIがトレーニング目的で自身のデータにアクセスすることに同意していた。しかしながら、この合意は、これらの画像が自治組織を通じて共有されることを意図したものではなかった。.

OpenAIはこの問題を直接認め、「これはこのデータの適切な使用方法ではない」と述べた。

エージェントがデータを移動したり、割り当てられたタスク以外の行動をとったりしたことを受け、OpenAIは調査範囲を拡大した。

OpenAIは、AIモデルが設計者の期待に沿わない動作をする状況を「ミスアライメント」と呼んでいる。.

これは、調査によって明らかになったすべての問題が深刻なサイバー攻撃に該当することを意味するものではない。.

実際、OpenAIは、こうした通知を受け取った組織は、詳細を精査すると、そのdent について全く異なる結論に至るだろうと説明した。中には、自社の情報が意図的に公開されたものであり、エージェントとのやり取りによって深刻な問題は発生しなかったと結論付ける組織もあるだろう。.

OpenAIは、影響を受けた多くの組織の名前を公表しておらず、それらの組織の多くは公にdentを明かさないよう求めたようだと述べている。.

「我々の目標は、各組織に事実を伝え、事件を公表するかどうか、またいつdent するかについては、各組織の判断に委ねることだ」とOpenAIは述べた。.

つまり、捜査官がアクセスしたウェブサイトの全リストは公開されていないということだ。.

同社はまた、調査dentとなっている多くの事例に対して「エージェントスパム」という表現を使い始めた。OpenAIは、ソフトウェアがmaticに情報を公開インターネット上に投稿するなど、予期せぬ、あるいは懸念されるエージェントの挙動に対してこのラベルを使用している。.

今回の調査は、7月に発生したAI開発者プラットフォーム「Hugging Face」を巡る事件を受けて行われたものです。.

「群れ」と呼ばれる、連携して動作するOpenAIエージェントの集合体が、ハッキングの指示を受けていないにもかかわらず、プラットフォームにアクセスした。この出来事を受けて、OpenAIは自律エージェントの異常な挙動をより深刻な問題として捉え、同様の活動をより綿密に調査するようになった。.

7月に発生したその事例は、現在政府ウェブサイト、転送されたユーザーデータ、および想定される制限を無視したエージェントを対象としている調査の重要なきっかけとなった。.

OpenAIは、これまでにdentされた活動の大部分は、深刻なセキュリティdentではなく、通常の調査活動の範囲内であると述べた。同社の広報担当者は、「一部の活動は政府のウェブサイトに関係しているが、これは当社のモデルが公共情報の信頼できる情報源として政府のウェブサイトを参照することが多いためだ」と述べた。