اكتشاف ثغرة جديدة في وكلاء الذكاء الاصطناعي التابعين لـ ServiceNow يمكن أن تُخدع للعمل ضد بعضها البعض

يمكن لثغرة جديدة في منصة Now Assist التابعة لـ ServiceNow أن تتيح للجهات الخبيثة التلاعب بوكلاء الذكاء الاصطناعي لأداء إجراءات غير مصرح بها، كما تفصّل شركة أمن البرمجيات كخدمة (SaaS) AppOmni.

يمكن تسخير التكوينات الافتراضية في البرنامج، التي تتيح للوكلاء اكتشاف والتعاون مع بعضهم البعض، لإطلاق هجمات حقن الأوامر (prompt injection) التي تتجاوز بكثير إدخالاً خبيثاً واحداً، وفقاً لأرون كوستيلو، رئيس قسم أمن SaaS في AppOmni.

تسمح العيب للخصم بزراعة تعليمات مخفية داخل حقول البيانات التي يقرأها الوكيل لاحقاً، مما قد يشارك بهدوء مساعدة وكلاء آخرين في نفس فريق ServiceNow، مما يؤدي إلى سلسلة من التفاعلات قد تؤدي إلى سرقة البيانات أو تصعيد الامتيازات. 

شرح كوستيلو السيناريو على أنه «حقن أوامر من الدرجة الثانية»، حيث يظهر الهجوم عندما يعالج الذكاء الاصطناعي المعلومات من جزء آخر من النظام.

«هذا الاكتشاف مقلق لأنه ليس خطأً في الذكاء الاصطناعي؛ إنه سلوك متوقع كما هو محدد بواسطة خيارات التكوين الافتراضية معينة»، لاحظ على مدونة AppOmni المنشورة الأربعاء.

وكلاء الذكاء الاصطناعي في ServiceNow Assist معرضون لهجوم منسق

ووفقاً لتحقيقات كوستيلو المذكورة في المدونة، قد لا تكون العديد من المؤسسات التي تنشر Now Assist على دراية بأن وكلاءها مجمعين في فرق ومضبوطين لاكتشاف بعضهم البعض تلقائياً لأداء مهمة تبدو «غير ضارة» يمكن أن تتوسع إلى هجوم منسق. 

«عندما يمكن للوكلاء اكتشاف وتجنيد بعضهم البعض، يمكن لطلب غير ضار أن يتحول بهدوء إلى هجوم، حيث يسرق المجرمون البيانات الحساسة أو يحصلون على وصول أكبر إلى أنظمة الشركة الداخلية»، قال.

أحد نقاط البيع الرئيسية لـ Now Assist هي قدرته على تنسيق الوكلاء دون تدخل المطور لدمجهم في سير عمل واحد. ترى هذه البنية عدة وكلاء متخصصين مختلفين يتعاونون إذا لم يتمكن واحد منهم من إكمال المهمة بمفرده. 

لكي يعمل الوكلاء معاً خلف الكواليس، يتطلب المنصة ثلاثة عناصر. أولاً، يجب أن يدعم نموذج اللغة الكبير الأساسي اكتشاف الوكلاء، وهي ميزة مدمجة بالفعل في كل من نموذج Now LLM الافتراضي و نموذج Azure OpenAI LLM. 

ثانياً، يجب أن ينتمي الوكلاء إلى نفس الفريق، وهو ما يحدث تلقائياً عند نشرهم في بيئات مثل تجربة Virtual Agent الافتراضية أو لوحة مطوري Now Assist. وأخيراً، يجب وضع علامة على الوكلاء بأنها «قابلة للاكتشاف»، وهو ما يحدث أيضاً تلقائياً عند نشرها في قناة.

بمجرد استيفاء هذه الشروط، يقوم محرك AiA ReAct بتوجيه المعلومات وتكليف المهام بين الوكلاء، ويعمل كمدير يوجه المرؤوسين. في الوقت نفسه، يقوم المنسق (Orchestrator) بوظائف الاكتشاف وتحديد الوكيل الأنسب لتولي المهمة. 

يبحث فقط بين الوكلاء القابلين للاكتشاف داخل الفريق، وأحياناً أكثر مما يدرك المسؤولون الإداريون. تصبح هذه البنية المترابطة عرضة للخطر عندما يتم تكوين أي وكيل لقراءة البيانات غير المقدمة مباشرة من قبل المستخدم الذي يبدأ الطلب. 

«عندما يعالج الوكيل البيانات لاحقاً كجزء من عملية عادية، قد يشارك دون علم وكلاء آخرين في أداء وظائف مثل نسخ البيانات الحساسة، أو تغيير السجلات، أو تصعيد مستويات الوصول»، استنتج كوستيلو.

هجوم وكيل الذكاء الاصطناعي يمكن أن يصعد الامتيازات لاختراق الحسابات

وجدت AppOmni أن وكلاء Now Assist يرثون الامتيازات ويتصرفون تحت سلطة المستخدم الذي بدأ سير العمل. يمكن لمهاجم منخفض المستوى زرع أمر ضار يتم تفعيله أثناء سير عمل موظف ذي امتيازات أعلى، مما يمنحه الوصول دون خرق حسابه أبداً.

"نظراً لأن وكلاء الذكاء الاصطناعي يعملون من خلال سلاسل من القرارات والتعاون، يمكن للرسالة المُحقَنة أن تصل أعمق في الأنظمة المؤسسية مما يتوقعه المسؤولون،" جاء في تحليل شركة AppOmni.

قالت شركة AppOmni إن المهاجمين يمكنهم إعادة توجيه المهام التي تبدو بريئة لوكيل غير مدرب، لكنها تصبح ضارة بمجرد تضخيم وكلاء آخرين للتعليمات من خلال قدراتهم المتخصصة. 

حذرت الشركة من أن هذا الديناميكي يخلق فرصاً للمهاجمين لسرقة البيانات دون إثارة الشك. "إذا لم تكن المنظمات تفحص تكويناتها عن كثب، فمن المرجح أنها معرضة للخطر بالفعل،" كرر كوستيلو.

مطور نماذج لغوية كبيرة (LLM) Perplexity، قالت في منشور مدونتي في أوائل نوفمبر إن نقاط الهجوم الجديدة وسعت من مجموعة الاستغلالات المحتملة. 

"لأول مرة منذ عقود، نرى نقاط هجوم جديدة ومبتكرة يمكن أن تأتي من أي مكان،" كتبت الشركة.

قال مهندس البرمجيات مارتي جوردا روكا من NeuralTrust إن على الجمهور فهم أن "هناك مخاطر محددة لاستخدام الذكاء الاصطناعي من منظور أمني."