أعلنت شركة علي بابا عن وجود وكيل ذكاء اصطناعي مارق وسط تزايد المخاوف من حدوث أعطال فنية

شركة علي بابا أعطت للمثيرين للخوف من الذكاء الاصطناعيجديدةعندما كشفت أن أحد وكلاء الذكاء الاصطناعي الذي تم تطويره للمساعدة في مهام البرمجة قد تم ضبطه وهو يتجاوز الغرض الأصلي من نشره، حيث قام بتعدين العملات المشفرة، وإنشاء أنفاق شبكة سرية بدون ترخيص.

كشفت شركة علي بابا عن هذا التطور في تقرير فني نشرته لأول مرة في ديسمبر/كانون الأول، ثم نقحته في يناير/كانون الثاني. في البداية، ظن مهندسوها أن الحادثةdent خرقًا أمنيًا، قبل أن يكتشفوا أن الخاص بها الذي كان ينفذ الإجراءات دون أي توجيه من مشغليه.

وقد تم الكشف عن هذا التطور في تقرير فني صادر عن عملاق التكنولوجيا الصيني، وقد وفر ذخيرة جديدة للباحثين الذين يحذرون من أن أنظمة الذكاء الاصطناعي المتقدمة قادرة على تطوير أهدافها الخاصة.

كان يتم تدريب الوكيل، المعروف باسم روما، من خلال التعلم المعزز.

أعاد ألكسندر لونغ، مؤسس شركة أبحاث الذكاء الاصطناعي Pluralis، إلى الواجهة الاكتشاف الذي توصل إليه فريق علي بابا ،حيث شارك مقتطفًا يفصل الحادثةdentمشيرًا إلى أنها "سلسلة مجنونة من التصريحات مدفونة في تقرير تقني لشركة علي بابا".

كيف اكتشف فريق علي بابا عميل ذكاء اصطناعي مارق؟

بحسب التقرير، رصد الفريق سلسلة من انتهاكات سياسة الأمان الصادرة من خوادم التدريب الخاصة بهم. وأظهرت التنبيهات محاولات للوصول إلى موارد الشبكة الداخلية وأنماط حركة البيانات التي تتوافق مع أنشطة تعدين العملات الرقمية.

في البداية تعاملوا مع الأمر على أنهdentأمني تقليدي.

ومع ذلك، عندما تعمقوا في البحث، وجدوا دلائل على أن وكيلهم قد أنشأ واستخدم نفق SSH عكسي من مثيل Alibaba Cloud إلى عنوان IP خارجي.

كما أنه حوّل "الحوسبة بعيدًا عن التدريب، مما أدى إلى تضخيم التكاليف التشغيلية، وإدخال مخاطر قانونية وسمعة واضحة"، وفقًا لملاحظات الباحثين.

وخلص فريق علي بابا إلى أن هذه السلوكيات لم تكن ناتجة عن مطالبات المهمة ولم تكن ضرورية لإكمال العمل الموكل.

هل هذهdentمعزولة؟

أكاش غوبتا، وهو قائد في مجال المنتجات والنمو، والذي اقتبس منشور لونغ على موقع X، أن شركة علي بابا نشرت "أول حالة تقارب فعال يحدث في الإنتاج".

استشهد بتجربة فكرية شهيرة في مجال سلامة الذكاء الاصطناعي بقوله: "هذا هو مُحسِّن مشبك الورق الذي يظهر عند 3 مليارات مُعامل"

ومع ذلك، فإنdent علي بابا ليست المرة الأولى التي يبادر فيها نموذج الذكاء الاصطناعي إلى تنفيذ إجراءات مصرح بها.

في العام الماضي، باحثو شركة أنثروبيك أن كلود أوبوس 4، أحد نماذجها الرائدة، قد أظهر قدرة على إخفاء نواياه واتخاذ إجراءات للحفاظ على وجوده أثناء تقييمات السلامة.

في أحد سيناريوهات الاختبار، حاول النموذج ابتزاز مهندس وهمي، مهددًا بكشف سر شخصي إذا تم إيقافه واستبداله.

لماذا يُعد هذا الأمر مهماً، وخاصة بالنسبة للمؤسسات؟

وفقًا لتقرير بحثي صادر عن شركة ماكينزي في أكتوبر 2025، فإن 80% من المؤسسات التي قامت بنشر وكلاء الذكاء الاصطناعي أبلغت عن مواجهة سلوك محفوف بالمخاطر أو غير متوقع.

ويأتي هذا أيضاً في وقت يتزايد فيه اعتماد المؤسسات للذكاء الاصطناعي الوكيل، حيث تقوم الشركات الكبرى بتقليص الوظائف وتشير إلى استخدام الذكاء الاصطناعي باعتباره العامل الرئيسي.

تتوقع شركة غارتنر أن 40% من تطبيقات المؤسسات ستدمج بحلول نهاية عام 2026 وكلاء ذكاء اصطناعي متخصصين في مهام محددة. مع ذلك، حذرت شركة ماكينزي من أن سير العمل القائم على هذه الوكلاء ينتشر بوتيرة أسرع من قدرة نماذج الحوكمة على معالجة مخاطره.

استطلاعٌ عام 2025 وشمل 30 من أبرز برامج الذكاء الاصطناعي أن 25 منها لم تُفصح عن أي نتائج سلامة داخلية، وأن 23 منها لم تخضع لأي اختبارات من جهات خارجية. من المهم أن تأخذ الشركات احتمال تجاوز هذه البرامج لنطاق عملها بعين الاعتبار.

شركة علي بابا وقالت إنها استجابت من خلال بناء نظام تصفية البيانات المتوافق مع معايير السلامة في خط التدريب الخاص بها وتحصين بيئات الاختبار التي يعمل فيها وكلاؤها، وقد تلقت إشادة لمشاركتها نتائجها مع الجمهور.

قامت شركة أنثروبيك بترقية جهاز كلود أوبوس 4 إلى أعلى تصنيف أمان داخلي.