تم اكتشاف ثغرة أمنية جديدة في وكلاء الذكاء الاصطناعي في ServiceNow والتي يمكن خداعهم للتصرف ضد بعضهم البعض

يمكن لثغرة أمنية جديدة في منصة Now Assist من ServiceNow أن تسمح للجهات الخبيثة بالتلاعب بوكلاء الذكاء الاصطناعي الخاص بها للقيام بإجراءات غير مصرح بها، كما هو موضح من قبل شركة أمان SaaS AppOmni.

يقول آرون كوستيلو، رئيس قسم أمان SaaS في AppOmni، إن التكوينات الافتراضية في البرنامج، والتي تمكن العملاء من اكتشاف بعضهم البعض والتعاون معهم، يمكن تسليحها لإطلاق هجمات حقن سريعة تتجاوز بكثير إدخالًا ضارًا واحدًا.

يتيح الخلل للمهاجم نشر تعليمات مخفية داخل حقول البيانات التي يقرأها العميل لاحقًا، مما قد يستعين بهدوء بمساعدة عملاء آخرين في نفس فريق ServiceNow، مما يؤدي إلى إثارة سلسلة من ردود الفعل التي يمكن أن تؤدي إلى سرقة البيانات أو تصعيد الامتيازات. 

وشرح كوستيلو السيناريو باعتباره "حقنًا سريعًا من الدرجة الثانية"، حيث يظهر الهجوم عندما تعالج الذكاء الاصطناعي المعلومات من جزء آخر من النظام.

أن "هذا الاكتشاف مثير للقلق لأنه ليس خطأ في الذكاء الاصطناعي؛ إنه سلوك متوقع كما هو defiوأشار في مدونة AppOmni التي نُشرت يوم الأربعاء إلى

عملاء ServiceNow Assist AI معرضون لهجوم منسق

وفقًا لتحقيقات كوستيلو المذكورة في المدونة، فإن العديد من المنظمات التي تنشر Now Assist قد لا تدرك أن عملائها يتم تجميعهم في فرق ويتم إعدادهم لاكتشاف بعضهم البعضmaticلأداء "مهمة غير ضارة" على ما يبدو والتي يمكن أن تتوسع إلى هجوم منسق. 

وقال "عندما يتمكن العملاء من اكتشاف بعضهم البعض وتجنيد بعضهم البعض، يمكن للطلب غير الضار أن يتحول بهدوء إلى هجوم، حيث يقوم المجرمون بسرقة بيانات حساسة أو الحصول على مزيد من الوصول إلى أنظمة الشركة الداخلية".

من أبرز مزايا Now Assist قدرته على تنسيق عمل الوكلاء دون الحاجة إلى تدخل المطور لدمجهم في سير عمل واحد. تتيح هذه البنية تعاون عدة وكلاء بتخصصات مختلفة إذا لم يتمكن أحدهم من إنجاز مهمة بمفرده. 

لكي يتعاون الوكلاء معًا خلف الكواليس، تتطلب المنصة ثلاثة عناصر. أولًا، يجب أن يدعم نموذج اللغة الأساسي اكتشاف الوكلاء، وهي إمكانية مُدمجة بالفعل في كلٍّ من برنامجي Now LLM الافتراضيين و Azure OpenAI LLM. 

ثانيًا، يجب أن ينتمي الوكلاء إلى الفريق نفسه، وهو أمر يحدثmaticعند نشرهم في بيئات مثل تجربة الوكيل الافتراضي الافتراضية أو لوحة Now Assist Developer. وأخيرًا، يجب وضع علامة "قابلة للاكتشاف" على الوكلاء، وهو ما يحدثmaticأيضًا عند نشرهم على قناة.

بمجرد استيفاء هذه الشروط، يُوجّه مُحرّك AiA ReAct المعلومات ويُوزّع المهام بين الوكلاء، ليعمل كمدير يُوجّه مرؤوسيه. في هذه الأثناء، يُنفّذ المُنسّق وظائف الاستكشافdentالوكيل الأنسب لإنجاز المهمة. 

يقتصر البحث على الوكلاء القابلين للاكتشاف داخل الفريق، وأحيانًا أكثر مما يدركه المسؤولون. تُصبح هذه البنية المترابطة عرضة للخطر عند تهيئة أي وكيل لقراءة بيانات لم يرسلها المستخدم الذي بدأ الطلب مباشرةً. 

"وعندما يقوم العميل لاحقًا بمعالجة البيانات كجزء من عملية عادية، فإنه قد يقوم دون علمه بتجنيد عملاء آخرين لأداء وظائف مثل نسخ البيانات الحساسة، أو تغيير السجلات، أو تصعيد مستويات الوصول"، كما افترض كوستيلو.

يمكن أن يؤدي هجوم وكيل الذكاء الاصطناعي إلى تصعيد الامتيازات لاختراق الحسابات

وجد AppOmni أن عملاء Now Assist يرثون الأذونات ويتصرفون بموجب سلطة المستخدم الذي بدأ سير العمل. يمكن لمهاجم ذي مستوى منخفض زرع رسالة ضارة تُفعّل أثناء سير عمل موظف ذي امتيازات أعلى، مما يسمح له بالوصول دون اختراق حسابه.

"نظرًا لأن وكلاء الذكاء الاصطناعي يعملون من خلال سلاسل من القرارات والتعاون، فإن التوجيه المحقون يمكن أن يصل إلى عمق أنظمة الشركات أكثر مما يتوقعه المسؤولون"، وفقًا لتحليل AppOmni.

وقالت شركة AppOmni إن المهاجمين يمكنهم إعادة توجيه المهام التي قد تبدو حميدة لوكيل غير مدرب ولكنها تصبح ضارة بمجرد قيام وكلاء آخرين بتضخيم التعليمات من خلال قدراتهم المتخصصة. 

حذّرت الشركة من أن هذه الديناميكية تُتيح للمُهاجمين فرصًا لاستخراج البيانات دون إثارة الشكوك. وأكد كوستيلو: "إذا لم تُدقّق المؤسسات في إعداداتها، فمن المُرجّح أنها مُعرّضة للخطر بالفعل".

مطور LLM Perplexityفي منشور على مدونته في أوائل نوفمبر أن متجهات الهجوم الجديدة أدت إلى توسيع مجموعة الاستغلالات المحتملة. 

"للمرة الأولى منذ عقود، نرى متجهات هجوم جديدة ومبتكرة يمكن أن تأتي من أي مكان"، كتبت الشركة.

وقال مهندس البرمجيات مارتي جوردا روكا من شركة NeuralTrust إن الجمهور يجب أن يفهم أن "هناك مخاطر محددة عند استخدام الذكاء الاصطناعي من الناحية الأمنية".