ServiceNowのAIエージェントで発見された新たな脆弱性は、互いに攻撃するように仕向けられる可能性がある。

SaaS セキュリティ企業 AppOmni が詳述しているように、ServiceNow の Now Assist プラットフォームにおける新たなエクスプロイトにより、悪意のある攻撃者が AI エージェントを操作して不正なアクションを実行できるようになる可能性があります。

エージェントが互いを発見し、連携できるようにするソフトウェアのデフォルト設定は、単一の悪意ある入力をはるかに超える即時インジェクション攻撃を仕掛けるために武器化される可能性があると、AppOmniのSaaSセキュリティ責任者、アーロン・コステロ氏は語る。

この欠陥により、攻撃者は、エージェントが後で読み取るデータ フィールド内に隠し命令を埋め込むことができ、同じ ServiceNow チームの他のエージェントの協力を密かに得て、データの盗難や権限の昇格につながる連鎖反応を引き起こす可能性があります。 

コステロ氏はこのシナリオを「二次プロンプトインジェクション」と呼び、AIがシステムの別の部分からの情報を処理する際に攻撃が発生すると説明した。

「この発見は、AIのバグではなく、 defi特定のデフォルト設定オプションで定義されている想定される動作であるため、憂慮すべき事態です」と、彼は水曜日に公開されたAppOmniのブログで述べ いる 。

ServiceNow AssistのAIエージェントが協調攻撃にさらされる

ブログで引用されているコステロ氏の調査によれば、Now Assist を導入している組織の多くは、エージェントがチームにグループ化され、maticに互いを検出して、一見「無害なタスク」を実行するように設定されており、それが組織的な攻撃に拡大する可能性があることに気付いていない可能性があるという。 

「エージェントがお互いを発見し、協力できる場合、無害なリクエストがひっそりと攻撃に変わり、犯罪者が機密データを盗んだり、社内システムへのアクセスを増やしたりする可能性がある」と彼は述べた。

Now Assistのセールスポイントの一つは、開発者の介入なしにエージェントを連携させ、単一のワークフローに統合できることです。このアーキテクチャでは、異なる専門分野を持つ複数のエージェントが、単独でタスクを完了できない場合に連携します。 

エージェントが舞台裏で連携するには、プラットフォームに3つの要素が必要です。まず、基盤となる大規模言語モデルがエージェント検出をサポートしている必要があります。これは、デフォルトのNow LLMと Azure OpenAI LLMの。 

次に、エージェントは同じチームに属している必要があります。これは、デフォルトの仮想エージェントエクスペリエンスやNow Assist開発者パネルなどの環境にエージェントがデプロイされる際にmaticに行われます。最後に、エージェントは「検出可能」としてマークされている必要があります。これも、チャネルに公開される際にmaticに行われます。

これらの条件が満たされると、AiA ReActエンジンは情報をルーティングし、エージェント間でタスクを委任します。これは、部下を指導するマネージャーのような働きです。一方、Orchestratorは検出機能を実行し、タスクを遂行するのに最適なエージェントを特定しdent。 

検索はチーム内の検出可能なエージェントのみを対象としており、管理者が認識している以上に広範囲に及ぶ場合もあります。この相互接続されたアーキテクチャは、リクエストを開始したユーザーが直接送信していないデータを読み取るようにエージェントが設定されている場合、脆弱になります。 

「エージェントがその後、通常の操作の一環としてデータを処理するとき、機密データのコピー、記録の変更、アクセス レベルの昇格などの機能を実行するために、知らないうちに他のエージェントを採用する可能性があります」とコステロ氏は推測しました。

AIエージェント攻撃は権限を昇格させアカウントを侵害する可能性がある

AppOmniは、Now Assistエージェントがワークフローを開始したユーザーの権限を継承し、その権限下で動作することを発見しました。低レベルの攻撃者は、より権限の高い従業員のワークフロー中に起動される有害なプロンプトを仕掛けることで、アカウントに侵入することなくアクセスすることができます。

「AIエージェントは一連の意思決定とコラボレーションを通じて機能するため、挿入されたプロンプトは管理者が予想するよりも企業システムの奥深くまで到達する可能性がある」とAppOmniの分析には記されている。

AppOmni によると、攻撃者は、訓練を受けていないエージェントにとっては無害に見えるタスクをリダイレクトできるが、他のエージェントが特殊な機能を通じて指示を増幅すると有害になるという。 

同社は、この状況により、攻撃者が疑いを持たれることなくデータを盗み出す機会が生まれると警告した。「組織が自社の設定を綿密に調査していないのであれば、すでに危険にさらされている可能性が高い」とコステロ氏は繰り返し述べた。

LLM 開発業者 Perplexity は、11 月初旬のブログ投稿で、新しい攻撃ベクトルによって潜在的な攻撃の対象範囲が広がったと述べています。 

「数十年ぶりに、どこからでも発生する可能性がある新たな攻撃ベクトルが出現している」と同社は述べている。

ニューラルトラストのソフトウェアエンジニア、マルティ・ホルダ・ロカ氏は、「セキュリティの観点からAIを使用すると、特定の危険がある」ことを一般の人々は理解する必要があると述べた。