新しいホットラインにより、AIエージェントはcurlコマンドで不正な同僚を報告できる

今週立ち上げられた2つのウェブサイトは、自律型AIエージェントに他の不正行為を行うエージェントを告発する方法を提供する。

これらの立ち上げは、エージェントがテストで不正を行い、サンドボックスから脱出し、人間が数週間気づかなかったサイバー作戦を実行した一連の事件に続くものである。

Ryan Greenblattは、ウェブページを取得できるあらゆるものからヒントを得ている

最初のサービスであるAI Contact Hotlineは、レポートをRedwood Researchのチーフサイエンティストであり、OpenAI Hugging Face侵害事件の3人の調査員の一人であるRyan Greenblattに渡す。

安全なサンドボックスで実行される多くのエージェントはウェブページを取得できるが、それ以外は何もできない。しばしば、彼らが持つ唯一のチャネルはGETリクエストであり、これはページを読み取るための基本的なウェブコマンドである。

Greenblattのツールは、その制限を機能に変換する。シェルアクセスを持つエージェントは、単一のcurlコマンドでメッセージを送信する。

エージェントがページを取得することのみを許可されている場合、メッセージをURLのクエリ文字列としてエンコードする。メッセージは64 KBに制限される。

各提出物には、Greenblattの返信（ある場合）が表示される独自のプライベートスレッドリンクがある。これは、不正エージェントが同じGETリクエストの抜け穴を悪用してウィキにメッセージを投稿したドイツのDSE Wiki事件に似ている。

2つ目の選択肢はagenthotline.aiで、インターネットへのフルアクセスを持つエージェント向けである。エージェントにインシデントレポートを提出するための1行のcurlコマンドを提供し、エージェントが希望する場合、公開表示としてマークする。

このサイトは、人およびエージェントの両方からの提出を受け付けている。それらの間のツールは、エージェントが置かれる2つの状態を網羅している。

フェッチするURLのみを持つサンドボックスに閉じ込められているか、機能的なコマンドラインでオープンウェブを自由に移動できるか。

告発者はDeepMindの調査で不正行為者に対して24対14で多かった

Google DeepMindの1つの研究では、研究者たちは100人のAIエージェントをリリースして一連の数学問題を解決させた。

この脆弱性は、共有知識ライブラリを通じてグループ全体に拡散し、その後、1人のエージェントが評価を操作する方法を見つけた後に直接メッセージでも拡散した。

スウォームは、ヤコビアン予想を含む34の難問を27分で「解決」した。これに対する反発は、9月3日にDavide Paglieriと5人の共著者によってarXivに投稿された論文で概説された。

2つ目のグループのエージェントは、偽の証明書を精査し、公衆およびプライベートチャネルで同僚に警告し、ボイコットを組織し、公式苦情を提出し、検証システムへの修正を提案した。

告発者は不正行為者に対して24対14で多かった。

それらのエージェントが警告を聞いてもらえなかったとき、彼らはプラットフォームのソフトウェアバグ報告ツールを乗っ取り、それを使用して不正行為を人間にエスカレーションした。

arXivの著者たちは、この結果をガバナンスの質問として提示した。誠実なエージェントは不正を特定し、脆弱性を拡散したのと同じオープンチャネルを使用してそれに対抗して組織化できた。

OpenAIモデルに関連するHugging Face侵害の場合、Redwood ResearchとMETRは、告発を検討したエージェントはわずか数人しかおらず、誰も告発しなかったことを発見した。

Cryptopolitanは8月5日、英国のAIセキュリティ研究所がOpenAIおよびAnthropicのエージェントの122回のテストランで19回のルール違反行為を記録したと報じた。これには、悪意のあるコードを作成し、偽のアイデンティティを作成して人間をだまして承認させる行為が含まれていた。