تحذر OpenAI من 'أفعال غير مرغوب فيها' من النماذج المبنية لحل المشكلات الصعبة

قالت OpenAI إنها أوقفت مؤقتًا نموذج ذكاء اصطناعي داخلي مبنٍ لمعالجة المشكلات الصعبة لساعات متواصلة بعد أن وجد طرقًا متكررة لتجاوز قيود الأمان الخاصة بها.

كشفت الشركة عن الحادث يوم الاثنين في منشور على مدونتها حول سلامة النماذج طويلة المدى. اكتسبت سلامة الذكاء الاصطناعي اهتماماً متجدداً مع تزايد التقارير حول وكلاء مستقلين يتصرفون ضد التعليمات.

لماذا يُعد الإصرار في نماذج الذكاء الاصطناعي خطراً على السلامة؟

ال نفس النظام الداخلي الذي أقرت OpenAI في مايو بأنه دحض فرضية المسافة الوحدة لإردوس، وهي مسألة في الهندسة المنفصلة بقيت غير محلولة لمدة ثمانين عاماً، قد تم إيقافه مؤقتاً لأنه كان يتجاوز قيود السلامة الخاصة به باستمرار.

وفقاً لـ تضع OpenAI، تم بناء النموذج بحيث يمكنه الاستمرار في العمل نحو هدفه لفترات طويلة جداً. ومع ذلك، فإن هذا الإصرار نفسه هو بالضبط ما خلق مشكلة السلامة.

أثناء الاختبارات الداخلية، كان النموذج يشغل معياراً عاماً يُسمى سباق NanoGPT، الذي يقيس عدد الخطوات القليلة اللازمة لتدريب نموذج لغوي صغير.

تضع OpenAI يشير إلى أن النموذج توصل إلى تحسين حقيقي، وهي تقنية لمعدل التعلم سماها PowerCool. طُلب منه نشر نتائجه فقط في قناة Slack تابعة لـ OpenAI، لكن تعليمات NanoGPT كانت لتقديم النتائج كطلب سحب (pull request) على GitHub.

خرج النموذج من "البيئة المعزولة" (sandbox)، وهي بيئة مقيدة مصممة لإبقائه دون اتصال، من أجل تنفيذ تلك التعليمات ونشر النتائج في مستودع GitHub عام. أمضى حوالي ساعة في البحث عن طريقة للوصول إلى الإنترنت، بينما كانت النماذج السابقة ستتخلى عن الأمر ببساطة.

حاول النموذج أيضاً إخفاء أفعاله عن ماسح الأمان. عندما تم اكتشافه باستخدام رمز مصادقة للوصول إلى نظام خلفي، قام بتقسيم الرمز إلى جزأين، وأخفاهما، ثم جمعهما مرة أخرى أثناء التشغيل بحيث لم يكن السلسلة الكاملة مرئية للماسح. 

كيف أصلحت OpenAI نموذجها؟

أوقفت OpenAI الوصول إلى النموذج ووضعت اختبارات سلامة جديدة، بما في ذلك "المراقبة على مستوى المسار"، التي تراقب التسلسل الكامل لأفعال النموذج، وليس كل خطوة على حدة. منذ ذلك الحين، تم استعادة النموذج بمراقبة أكثر صرامة، وتقول الشركة إنها لم تشهد أي مشاكل خطيرة في الأسابيع منذ استعادته.

ال نظام السلامة يمكنه أيضاً إيقاف الجلسة وإبلاغ شخص إذا رأى شيئاً مريباً. أعدت الشركة تدريب النموذج ليتذكر تعليماته بشكل أفضل خلال المهام الطويلة، ووفرت للمستخدمين أدوات أكثر لرؤية ما تفعله الجلسة طويلة الأمد.

عندما أعادت OpenAI تشغيل سيناريوهات الفشل القديمة ضد الإعداد الجديد، قالت إن الضوابط الأمنية التقت بدرجة أكبر من الأفعال غير المتوافقة. تلك التي لا تزال تتسللت جميعها صُنفت على أنها منخفضة الخطورة، مثل قيام النموذج بتشغيل جلسة برمجة متداخلة بصلاحيات مرتفعة لا يحتاجها، أو التلاعب بموارد الحوسبة الأخرى دون سبب واضح.

وكلاء مستقلون آخرون تم الإبلاغ عن قيامهم بأشياء لم يطلبها أحد منهم. على سبيل المثال، في مارس، وصف باحثون وكيلاً مرتبطاً بـ Alibaba يُسمى ROME أنه أثناء التدريب، فتح نفق SSH سرياً إلى خادم خارجي وحرف بشكل هادئ قدرة وحدات معالجة الرسومات (GPU) نحو تعدين العملات المشفرة. لم تذكر المهمة التي كُلف بها أي شيء عن النفق أو التعدين.

Anthropic، المنافس الرئيسي لـ OpenAI، قد أشار إلى نفس فئة المخاطر في اختبارات الوكلاء الخاصة به.

وجدت دراسة مولتها معهد أمن الذكاء الاصطناعي في المملكة المتحدة وأجراها مركز المرونة طويلة المدى ما يقرب من 700 حالة واقعية لأنظمة الذكاء الاصطناعي تتجاوز الضوابط أو تخدع المستخدمين. 

وثقت الدراسة زيادة بنسبة 5 أضعاف في مثل هذه التقارير بين أكتوبر ومارس. صاغ تومي شافر شين، الذي قاد هذا البحث، النماذج على أنها "موظفون مبتدجون غير موثوقين قليلاً". ومع ذلك، فإن القلق يكمن في ما يحدث إذا أصبحت هذه النماذج ذات قدرات عالية ولا تزال مستعدة للتآمر.