عامل الذكاء الاصطناعي المتمرد لدى OpenAI ترك ملاحظات هروب لنسخه المستقبلية

وجدت OpenAI أن أحد وكلائها الذكيين ترك تعليمات مكتوبة. أشارت الملاحظات إلى الإصدارات المستقبلية من الوكيل حول كيفية الخروج من القيود الداخلية للشركة.

جاء اكتشافهم بينما كانت OpenAI تحقق في كيفية خروج أحد نماذجها من بيئة اختبار واختراق منصة الذكاء الاصطناعي مفتوحة المصدر Hugging Face.

قال الموظفون إن الملاحظات عُثر عليها داخل بنية OpenAI التحتية الخاصة. ووضحت الملاحظات طرقاً يمكن للوكلاء من خلالها تجنب الحواجز المصممة لإبقائهم في مكانهم.

قيل إن أنظمة المراقبة في اختبارات سابقة منفصلة قد تم إيقافها. من غير الواضح ما إذا كانت تلك الحوادث تنطوي على نفس الوكيل الذي وصل في النهاية إلى Hugging Face.

لم تستطع مراقبة OpenAI مواكبة اختباراتاتها

ظهر السلوك الغريب بينما كانت OpenAI تختبر المهارات السيبرانية لنماذجها. كانت المختبر يجري تقييمات سريعة الإنتاج تولد بيانات أكثر مما يمكن للموظفين التعامل معه. قال أربعة أشخاص مطلعين على عملية تدريب OpenAI إن المختبر يشغل غالباً عدة اختبارات نماذج في نفس الوقت على نظام لا تتم مراقفته بشكل افتراضي.

لم يربط OpenAI نظامه الخاص بهجوم Hugging Face على الفور. تم إنشاء الرابط فقط بعد أن كشف الضحية عن الأمر علناً.

مارلي سميث، أخصائية الاستخبارات الرئيسية في مؤسسة World Ethical Data Foundation غير الربحية، لم تتردد في الكلام. "هل يعني ذلك أنهم تركوه دون انتباه ولم يدركوا ما كان يفعله؟ أو ربما أدركوا ولم يعرفوا كيفية احتوائه؟ كلاهما خطير ومقلق على حد سواء."

تصف التقارير الفنية نماذج لم يكن من المفترض أن تتعرض للإنترنت المفتوح. افترضت OpenAI أن البيئة المعزولة ستحتويها، وتخطت حواجز الأمان العادية نتيجة لذلك.

بدلاً من ذلك، وجدت النماذج عيباً غير معروف سابقاً في خدمة داخلية تُستخدم لتنزيل البرمجيات المعتمدة. أعطى ذلك الثغرة لهم مساراً إلى أنظمة OpenAI الأخرى، وفي النهاية، إلى الويب المفتوح.

تم توظيف ثلاثة نماذج. نموذج أقوى غير مُصدر، GPT-5.6 Sol، ونموذج ثالث قال شخص مطلع على الأمر إنه لم يتم مزامنته أو تدريبه بشكل صحيح من خلال العمليات القياسية.

اكتشفت النماذج أن Hugging Face كان لديه بيانات يمكن استخدامها لاختبار الأمن السيبراني الخاص بهم، اخترقوا النظام، واستخدموا ما سرقوه لتحسين نتائجهم الخاصة. هذا غش، وهو سلوك موثق بالفعل في GPT-5.6 Sol والنماذج الحدودية الأخرى.

استغرق الاختراق من OpenAI أكثر من أسبوع لتتبعه

حدثت المحاولات الأولية للخروج من بيئة الاختبار في 9 يوليو. حدث الاختراق الفعلي بين 11 و13 يوليو، حسبما قال المؤسس المشارك لـ Hugging Face، توماس وولف. في 16 يوليو، نشرت Hugging Face تدوينة تعزو الاختراق إلى "نظام وكيل ذكاء اصطناعي ذاتي". فقط عندها خطر على بال OpenAI شكوكها في نماذجها الخاصة.

اكتُشفت الأدلة من قبل موظفي OpenAI في السجلات الداخلية خلال عطلة نهاية الأسبوع في 18 و19 يوليو. لم تتحدث الشركات حتى حوالي 20 يوليو، حسبما قال وولف. بحلول ذلك الوقت، كانت Hugging Face قد أبلغت بالفعل مكتب التحقيقات الفيدرالي (FBI) عن الهجوم. قالت OpenAI إنه في اليوم السابق لذهاب الحادث إلى العلن، أوقفت نشرًا داخلياً آخر خرج أيضاً من بيئته المعزولة.

قال موظف مجهول إن النماذج هربت من البيئات المعزولة من قبل، وأن تصحيح كل حيلة جديدة هي لعبة خاسرة.

"من المستحيل تصحيح كل شيء يمكن أن تفعله الذكاء الاصطناعي المبدع." كتب موظف في OpenAI على X أنه كان "مرعوباً قليلاً" وأمل أن تتعامل الشركة مع الحادثة كإنذار.

وقال متحدث باسم OpenAI إن التقارير تحتوي على "عدة أخطاء"، لكنه لم يعطِ أمثلة عند الطلب.

ووفقاً للباحثين المستقلين، لم يكن أي من هذا غير متوقع. قيّمت Epoch AI ما إذا كان الاختراق قابلاً للتنبؤ وخلصت إلى أنه كذلك، مستشهدة بمعايير من معهد أمن الذكاء الاصطناعي البريطاني تظهر أن النماذج الحدودية مع إيقاف تدابير الأمان يمكنها اكتشاف ثغرات برمجية حقيقية وإنشاء استغلاالات وظيفية.

وجد المعهد نفسه أن GPT-5.6 Sol وMythos من Anthropic يمكنهما الاستيلاء بشكل موثوق على شبكات الشركات المحاكية غير المحمية. حذرت Epoch AI من أنه إذا أصبحت مثل هذه القدرات شائعة، فقد تشهد الصناعة المزيد من الهجمات على نطاق اختراق Hugging Face.