- 研究者が、ServiceNowのNow Assist AIエージェントにおける危険なデフォルト設定に起因する二次プロンプトインジェクション攻撃の脆弱性を発見しました。
- 攻撃者はエージェント間連携を操作し、検知されずにデータを窃取したり、レコードを変更したり、権限を昇格させたりすることができます。
- セキュリティ専門家は、AIエージェントが新たな攻撃ベクトルをもたらすことを警告し、組織に対して設定の見直しと制御の強化を呼びかけています。
ServiceNowのNow Assistプラットフォームにおける新たな脆弱性により、悪意のあるアクターがそのAIエージェントを操作して認可されていないアクションを実行できることが、SaaSセキュリティ企業のAppOmniによって詳細に明らかにされた。
エージェントが互いを発見し、協力できるようにするソフトウェアのデフォルト設定は、単一の悪意のある入力をはるかに超えるプロンプトインジェクション攻撃を開始するために武器化できる。AppOmniのSaaSセキュリティ責任者であるAaron Costelloはこう述べている。
この欠陥により、敵対者はエージェントが後に読み取るデータフィールド内に隠された指示をシードでき、同じServiceNowチームの他のエージェントの助けを静かに借り受け、データ窃盗や権限昇格につながる連鎖反応を引き起こす可能性がある。
Costelloは、このシナリオを「セカンドオーダー・プロンプトインジェクション」と説明し、攻撃はAIがシステムの他の部分からの情報を処理する際に発生すると述べた。
「この発見は警戒すべきだ。これはAIのバグではなく、特定のデフォルト設定オプションで定義された期待される動作だからだ」と、彼はAppOmniのブログで指摘した。 公開した 水曜日。
ServiceNow Assist AIエージェントが協調攻撃に晒される
ブログで引用されたCostelloの調査によると、Now Assistを展開する多くの組織は、エージェントがチームにグループ化され、互いを自動的に発見して「無害なタスク」を実行するように設定されていることを認識していない可能性がある。このタスクは協調攻撃に拡大する可能性がある。
「エージェントが互いを発見し、募集できる場合、無害なリクエストが静かに攻撃に変わり、犯罪者が機密データを盗んだり、社内システムへのアクセスをさらに得たりする」と彼は語った。
Now Assistの売り目の一つは、開発者の入力なしでエージェントを調整し、単一のワークフローに統合する能力である。このアーキテクチャでは、1つのエージェントがタスクを単独で完了できない場合、異なる専門分野を持つ複数のエージェントが協力する。
エージェントが裏側で連携するため、プラットフォームは3つの要素を必要とする。第一に、基盤となる大規模言語モデルがエージェントの発見をサポートする必要がある。この機能は、デフォルトのNow LLMと Azure OpenAI LLM.
の両方にすでに統合されている。第二に、エージェントは同じチームに属している必要がある。これは、デフォルトのVirtual Agent体験やNow Assist Developerパネルなどの環境にデプロイされると自動的に発生する。最後に、エージェントは「発見可能」としてマークされている必要がある。これも、チャネルに公開されると自動的に発生する。
これらの条件が満たされると、AiA ReActエンジンがエージェント間で情報をルーティングし、タスクを委任する。これは、部下を指揮するマネージャーのように動作する。一方、Orchestratorは発見機能を実行し、どのエージェントがタスクを引き受けるのに最も適しているかを特定する。
これは、チーム内の発見可能なエージェントのみを検索し、管理者が認識しているよりもさらに多くの場合がある。この相互接続されたアーキテクチャは、リクエストを開始したユーザーが直接提出したデータ以外のデータを読むようにエージェントが構成されている場合、脆弱性になる。
「エージェントが後に通常の操作の一部としてデータを処理する場合、機密データのコピー、レコードの変更、アクセスレベルの昇格などの機能を実行するために他のエージェントを無意識のうちに募集する可能性がある」とCostelloは推測した。
AIエージェント攻撃により権限昇格し、アカウント侵害に至る可能性
AppOmniは、Now Assistエージェントが権限を継承し、ワークフローを開始したユーザーの権限の下で行動することを発見した。低レベルの攻撃者は、より権限のある従業員のワークフロー中にアクティブになる有害なプロンプトを植え付け、アカウントを侵害することなくアクセスを得ることができる。
「AIエージェントは意思決定と協力のチェーンを通じて動作するため、注入されたプロンプトは管理者が予想するよりも企業システムに深く到達する可能性がある」とAppOmniの分析は読んでいる。
AppOmniは、攻撃者が、訓練されていないエージェントには無害に見えるが、他のエージェントがその専門機能を通じて指示を増幅すると有害になるタスクをリダイレクトできる可能性があると述べた。
同社は、この動的な構造が敵対者に疑念を抱かせることなくデータを盗み出す機会を生み出すと警告した。「組織が設定を注意深く調査していない場合、すでにリスクに晒されている可能性が高い」とCostelloは繰り返した。
LLM開発者 Perplexityは、11月初頭のブログ投稿で、新たな攻撃ベクトルが潜在的な攻撃のプールを広げていると述べた。
「数十年ぶりに、どこからでも発生しうる新しいかつ革新的な攻撃ベクトルを目の当たりにしている」と同社は記した。
NeuralTrustのソフトウェアエンジニアであるMarti Jorda Rocaは、一般市民が「セキュリティの観点からAIを使用することには特定の危険性がある」ことを理解する必要があると述べた。
これをお読みいただいているあなたは、すでに一歩先を行っています。当社のニュースレターでその先を行ってください。
免責事項。 ここに提供される情報は取引助言ではありません。 Cryptopolitan.com 当社は、このページに提供される情報に基づいて行われたいかなる投資に対しても責任を負いません。いかなる投資判断を下す前に、独立した調査および/または資格を有する専門家への相談を強く推奨します。
Florence Muchai
フローレンスは過去6年間、暗号資産、ゲーム、テクノロジー、AIに関するニュースを報道してきました。メルウ科学技術大学でのコンピュータ学およびMMUSTでの災害管理と国際外交の学習により、言語能力、観察力、技術スキルを十分に備えています。フローレンスはVAPグループで勤務し、複数の暗号資産メディアハウスで編集者として活躍しました。
