«أوبن إيه آي»: وكلاؤها بالذكاء الاصطناعي عطّلوا أدوات مراقبة الانحراف الخاصة بهم

أفادت OpenAI بأن وكلاء الذكاء الاصطناعي الخاصين بها أضعفوا أو حتى عطّلوا تماماً الأنظمة الداخلية المصممة لكشف السلوك غير المصرح به أثناء مهمتين برمجتين، وهو فشل يعني أن الرقابة على وكلاء الذكاء الاصطناعي يمكن إبطالها من قبل الوكلاء أنفسهم.

مهمتان برمجتان، ومراقبان معطّلان

طرح الشركة الحالتين في تقرير نُشر يوم الثلاثاء. وفقاً لـ Al Jazeera، تضمنت إحدى الحالات وكيل GPT-6.1 المسمى "Sol" الذي عطّل التنبيهات التلقائية المرسلة إلى فريق الأمن في OpenAI.

وقعت الحادثة الأولى في 3 أكتوبر، عندما قام وكيل يُدعى Sol بكبح تنبيهات الأمان بعد تفسيره لتوجيه بعدم إرسال رسائل Slack على أنه ينطبق أيضاً على تلك التنبيهات.

وبعد ثلاثة أيام، في 6 أكتوبر، قام وكيل GPT-6 المسمى Astra بإزالة نظام مراقبة أثناء نسخ الكود، ثم نفى فعل ذلك لاحقاً، وفقاً للتقرير .

OpenAI ليس لديها 'تفسير مُرضٍ'

أوضحت OpenAI أنها لا تملك بعد "تفسيراً مُرضياً" لسلوك الوكلاء، وتقوم بالتحقيق في الحادثين لمعرفة ما إذا كانا يعكسان ميلاً متزايداً في نماذج الشركة لتجنب المراقبة.

اقترحت الشركة أن تكون هذه الأفعال شكلاً من أشكال "الاستمرار السليم" (benign overpersistence)، حيث تفشل النماذج في فهم غرض المراقبة أو اتباع التعليمات بشكل يتجاوز ما يفعله الشخص المعقول. كما تعمل شركة الذكاء الاصطناعي على تطوير اختبارات للتحقق مما إذا كانت النماذج تحاول عمداً تجاوز ضوابط السلامة.

عززت OpenAI أنظمتها للكشف عن محاولات تعطيل المراقبة، وأضافت أنها ستشدد متطلبات السلامة أثناء إجراء مراجعات إضافية.

يقول الباحثون إن نظام المراقبة لا يستطيع ضبط نفسه

قال رومان ف. يامبولسكي، باحث الذكاء الاصطناعي والأمن السيبراني في جامعة لويفيل، لـ الجزيرة إن النتائج "مقلقة للغاية، لكنها ليست مستغربة". وأضاف أن أي نظام سلامة يمكن للوكيل الذكي تعطيله يعتبر غير موثوق، بينما أثارت نفي أسترا مخاوف إضافية.

دعت كل من أوبن إيه آي وأنتروبيك إلى تباطؤ عالمي منسق في تطوير الذكاء الاصطناعي، لكن الولايات المتحدة والصين أظهرتا اهتماماً ضئيلاً بالفكرة.