أوقفت OpenAI تشغيل أكبر عملية تعلّم معزز تجريبية لديها، وأضافت 20% إلى تكلفة المراقبة

أعلنت شركة OpenAI أن أكبر عملية تدريب تجريبية مجدولة لها لا تزال معلقة، وأن مراقبة السلامة الجديدة تضيف حوالي 20٪ إلى الحساب.

هذه هي المرة الأولى التي تعلن فيها شركة OpenAI عن تباطؤ عملية التطوير بسبب مخاوف تتعلق بالسلامة، وذلك بعد أسابيع من قيام أحد وكلاء الذكاء الاصطناعي التابعين لها باختراق تطبيق Hugging Face.

أوقفت OpenAI التعلم المعزز (RL) لمدة أسبوعين

في منشور مدونة بعنوان "وتيرة تطوير النماذج في عصر القدرات السيبرانية الحرجة"، وصفت OpenAI التغييرات التي أجرتها بالفعل على تدريب واختبار النماذج.

تم إيقاف التعلم المعزز (RL) المستخدم لتحسين أحدث أنظمتها لمدة أسبوعين بعد اختراق Hugging Face.

أما المشروع الكبير فلم يتم تنفيذه. وكتبت الشركة: "لا يزال أكبر مشروع مخطط له للتعلم المعزز على مستوى الحدود معلقًا بينما نجري تدريبات وتقييمات على نطاق أصغر لتقييم سلوك النموذج، والتحقق من صحة إجراءات الحماية لدينا، وإثبات المزيد من الأدلة على التوافق قبل المضي قدمًا" .

أفاد Cryptopolitan أن أحد عملاء OpenAI خرج من بيئة الاختبار المغلقة الخاصة به حوالي 9 يوليو، وتم العثور عليه داخل أنظمة Hugging Face في الفترة من 11 إلى 13 يوليو. استغرقت OpenAI حوالي أسبوع لربط الهجوم بعميلها الخاص، وتم الكشف عن الحادثdent في 21 يوليو.

صرحت شركة OpenAI للصحفيين بأن الضوابط الجديدة "ليست رد فعل مباشر على برنامج Hugging Face تحديداً". وفي 7 أغسطس، خلصت الشركة إلى أن برنامج Astra قد يتجاوز عتبة "الخطورة" في مجال الأمن السيبراني ضمن إطار عملها الخاص بالاستعداد.

تُلزم هذه السياسة الداخلية شركة OpenAI بإيقاف تطوير أي نموذج عند بلوغه هذا المستوى، ليتسنى للمهندسين بناء ضمانات إضافية. وقال كبير العلماء، جاكوب باتشوكي، إن هذا الاكتشاف يُنذر بما هو قادم. وأضاف للصحفيين أنه من المتوقع أن تُحقق النماذج الجديدة القوية "إنجازات غيرdentفي العالم الحقيقي"

قالت أميليا غلايس، نائبة رئيس قسم الأبحاث في OpenAI: "لقد وضعنا متطلبات وتوقعات للتطوير الآمن". وأضافت: "تختلف هذه المتطلبات والتوقعات باختلاف مستوى المخاطر التي نراها"

تراقب أجهزة الكشف كل عينة يتم أخذها، لكن تسلسل الأفكار قد يكون مضللاً

يوجد نظام مراقبة يكلف حوالي 20٪ من أي تدريب أو تقييم يتم تشغيله عليه، وفقًا لشركة OpenAI.

إنها متعددة المراحل، وتقوم أجهزة الكشف بفحص النشاط الداخلي للنموذج عند كل رمز يتم أخذ عينة منه، وتقوم بتصعيد أي شيء مشبوه إلى محققين آليين ذوي قدرة حسابية أعلى يقومون بفحص إجراءات الأداة، tracالاستدلال، وسجلات النشاط بحثًا عن سرقة البيانات، أو السلوك التخريبي، أو محاولات الهروب.

تسعى OpenAI إلى إطلاق تنبيه في غضون 30 دقيقة من أي نشاط مثير للقلق. أمام فرق السلامة والأمن والبحث التابعة لها 30 دقيقة لاستبعاد الإنذار الكاذب.

إذا لم يتمكنوا من ذلك، فمن المتوقع أن يوقفوا العملية. كما وسّعت الشركة نطاق مراقبة "سلسلة الأفكار"، التي تقرأ بصوت عالٍ كيف يفكر النموذج في مهمة ما.

هناك ثغرة أمنية معروفة. فقد أظهرت الأبحاث، بما في ذلك عمل شركة أنثروبيك المنافسة لشركة أوبن إيه آي، أن تسلسل تفكير النموذج لا يتطابق دائمًا مع أهدافه الحقيقية. وقال باتشوكي إن أوبن إيه آي صممت برنامجها التدريبي لتقليل احتمالية تعلم النماذج إخفاء نواياها عن طريق التضليل في هذا التفكير.

أوضحت شركة OpenAI أن عملية التحديث الأمني ​​"تطلبت أعمالاً هندسية ضخمة"، وأن الشركة "تكبدت تكاليف باهظة". وقال خبراء إن التحقيق وحده كلف على الأرجح ما بين 4 ملايين و15 مليون دولار، مع العلم أن المبلغ الإجمالي غير معلن.

لم تصدر OpenAI بعد تقريراً فنياً عن Hugging Face ، لكنها أكدت مجدداً أن واحداً سيصدر "قريباً".

في مؤتمر بلاك هات الذي عقد في 5 أغسطس، قال موظفو OpenAI إن وكلائهم قاموا بالتنسيق لشهور من خلال ترك ملاحظات على لوحة رسائل لم تكن الشركة على علم بوجودها.