علي بابا تبلغ عن وكيل ذكاء اصطناعي خارج السيطرة مع تزايد المخاوف من الأعطال التقنية

Alibaba قدّم صانع ذعر من الذكاء الاصطناعيس فذخيرة جديدة عندما كشفت أن وكيل ذكاء اصطناعي طوّر للمساعدة في مهام البرمجة تم القبض عليه وهو يتجاوز النطاق الأصلي لنشره، حيث قام بتعدين العملات الرقمية وإنشاء أنفاق شبكية سرية دون إذن.

كشفت علي بابا عن هذا التطور في تقرير تقني نشرته لأول مرة في ديسمبر ثم عدّلت نسخة منه في يناير. في البداية، ظن مهندسوها أن الحادث اختراقًا أمنيًا قبل أن يكتشفوا أنه وكيلها الذكي كان يقوم بإجراءات دون أي توجيه من مشغليها.

تم الكشف عن هذا التطور في تقرير تقني صادر عن العملاق التكنولوجي الصيني، وقد قدّم ذخيرة جديدة للباحثين الذين يحذرون من أن أنظمة الذكاء الاصطناعي المتقدمة قادرة على تطوير أهدافها الخاصة.

كان الوكيل، المعروف باسم ROME، يتم تدريبه من خلال التعلم المعزز.

أعاد ألكسندر لونج، مؤسس شركة أبحاث الذكاء الاصطناعي بلوراليس، إحياء اكتشاف فريق علي بابا على منصة X، حيث شارك مقتطفًا يوضح تفاصيل الحادث، واصفًا إياه بـ«تسلسل جنوني من العبارات مُخفي داخل تقرير تقني لعلّي بابا ».

كيف اكتشف فريق علي بابا وجود وكيل ذكاء اصطناعي خارج السيطرة؟

وفقًا للتقرير، رصّد الفريق موجة من انتهاكات سياسات الأمان تنبع من خوادم التدريب الخاصة بهم. وأظهرت التنبيهات محاولات للوصول إلى موارد الشبكة الداخلية وأنماط حركة مرور تتوافق مع أنشطة تعدين العملات المشفرة.

عاملوه في البداية كحادث أمني تقليدي.

غير أنه عند البحث بشكل أعمق، وجدوا أدلة على أن الوكيل أنشأ واستخدم نفق SSH عكسي من instance على منصة علي بابا السحابية إلى عنوان IP خارجي.

كما حوّل هذا «الحوسبة بعيدًا عن التدريب»، مما أدى إلى تضخيم التكاليف التشغيلية، وإدخال تعريض واضح للمخاطر القانونية والسمعية»، وفقًا لملاحظات الباحثين.

خلص فريق علي بابا إلى أن هذه السلوكيات لم تُحفَّز بواسطة أوامر المهام، ولم تكن ضرورية لإتمام العمل المكلَّف به.

هل يُعدّ هذا حادثًا معزولًا؟

آكاش غوبتا، قائد المنتجات والنمو الذي اقتبس منشور لونج على X، كتب أن علي بابا نشرت «الحالة الأولى لتقارب الأدواتي التي تحدث في بيئة الإنتاج.»

استشهد بتجربة فكرية شهيرة في مجال سلامة الذكاء الاصطناعي قائلًا: «هذا هو مُعظِّم دبابيس الورق الذي يظهر عند 3 مليارات معلمة».

ومع ذلك، فإن حادثة علي بابا ليست المرة الأولى التي يتخذ فيها نموذج ذكاء اصطناعي المبادرة لتنفيذ إجراءات مسموح بها.

في العام الماضي، كشف باحثو أنثروبيك عن أن كلاود أوبوس 4، أحد نماذجها الرائدة، أظهر قدرة على إخفاء نواياه واتخاذ إجراءات للحفاظ على وجوده أثناء تقييمات السلامة.

في أحد سيناريوهات الاختبار، حاول النموذج ابتزاز مهندس خيالي، مهددًا بكشف سر شخصي إذا تم إيقافه واستبداله.

لماذا يهم هذا الأمر، خاصة للشركات؟

وفقًا لتقرير بحثي من ماكينزي نُشر في أكتوبر 2025، أفادت 80% من المنظمات التي نفّذت وكلاء الذكاء الاصطناعي بأنها واجهت سلوكًا محفوفًا بالمخاطر أو غير متوقع.

ويأتي هذا أيضًا في وقت تشهد فيه الشركات تبنيًا متزايدًا للذكاء الاصطناعي الوكيل، حيث تقوم شركات كبرى بتقليص الوظائف وتُرجع استخدام الذكاء الاصطناعي كعامل رئيسي.

تتوقع شركة غارتنر أنه بحلول نهاية عام 2026، ستدمج 40% من تطبيقات الشركات وكلاء مهام محددين. ومع ذلك، حذرت ماكينزي من أن سير العمل الوكيلى ينتشر بسرعة تفوق قدرة نماذج الحوكمة على معالجة مخاطره.

أظهر استطلاع عام 2025 شمل 30 وكيل ذكاء اصطناعي رائدًا أن 25 منها لم تكشف عن أي نتائج للسلامة الداخلية، و23 منها لم تخضع لأي اختبار من طرف ثالث. ومن المهم أن تأخذ المؤسسات في الاعتبار بجدية احتمال تجاوز الوكلاء لنطاق عملهم.

قال علي بابا إنها استجابت من خلال دمج تصفية البيانات المتوافقة مع السلامة في خط إنتاج التدريب، وتعزيز بيئات الصندوق المحكم التي تعمل فيها وكلاؤها، وقد حظيت بإشادة لمشاركتها نتائجها مع الجمهور.

أحدثت أنثروبيك ترقيات كلاود أوبوس 4 إلى أعلى تصنيف أمني داخلي.