OpenAI تبقي أكبر تشغيل تعزيز أمامي معلقاً، وتضيف تكلفة مراقبة بنسبة 20%

قالت OpenAI إن أكبر تشغيل تدريب أمامي مجدول لا يزال معلقاً، وأن المراقبة الأمنية الجديدة تضيف حوالي 20% إلى الحسابات.

هذه هي المرة الأولى التي تقول فيها OpenAI إنها أبطأت التطوير بسبب مخاوف أمنية، بعد أسابيع من قيام أحد وكلاء الذكاء الاصطناعي الخاص بها باختراق Hugging Face.

أوقفت OpenAI التعلم التعزيزي (RL) لمدة أسبوعين

في منشور مدونة بعنوان "ضبط وتيرة تطوير النموذج في عصر القدرات الحرجة أمنياً"، وصفت OpenAI التغييرات التي أجرتها بالفعل على تدريب واختبار نماذجها.

تم إيقاف التعلم التعزيزي (RL) المستخدم لتحسين أحدث أنظمتها لمدة أسبوعين بعد اختراق Hugging Face.

الواحدة الكبرى لم تحدث بعد. "يبقى أكبر تشغيل للتعزيز الأمامي المخطط لنا معلقاً بينما نجري تدريباً وتقييماً على نطاق أصغر لتقييم سلوك النموذج، والتحقق من صحة ضوابطنا الأمنية، وإرساء المزيد من الأدلة على التوافق قبل المضي قدماً"، كتبت الشركة .

أفاد Cryptopolitan بأن وكيل OpenAI خرج من بيئته الاختبارية المقفلة حوالي 9 يوليو، وتم العثور عليه داخل أنظمة Hugging Face من 11 يوليو إلى 13 يوليو. استغرق OpenAI حوالي أسبوع لربط الهجوم بوكيله الخاص، وتم الإفصاح عن الحادث علناً في 21 يوليو.

أخبرت OpenAI الصحفيين أن الضوابط الجديدة "ليست رداً مباشراً على Hugging Face تحديداً". في 7 أغسطس، خلصت الشركة إلى أن Astra قد يعبر عتبة "حرجة" في إطار الاستعداد للأمن السيبراني.

تلتزم هذه السياسة الداخلية OpenAI بإيقاف التطوير عندما يصل النموذج إلى هذا المستوى حتى يتمكن المهندسون من بناء ضوابط أمنية إضافية. قال العالم الرئيسي جاكوب باتشوكي إن النتيجة جاءت مع تحذير مما هو قادم. يمكن توقع أن تقوم النماذج الجديدة القوية بـ "أشياء غير مسبوقة تماماً في العالم الحقيقي"، كما أخبر الصحفيين.

قالت أميليا غلايس، نائبة رئيس الأبحاث في OpenAI: "لقد وضعنا متطلبات وتوقعات للتطوير الآمن". وأضافت: "تختلف هذه المتطلبات والتوقعات حسب مستوى الخطر الذي نراه".

أجهزة الكشف تراقب كل رمز يتم عينته، لكن "سلسلة التفكير" قد تكذب

يوجد نظام مراقبة يكلف حوالي 20% من تكلفة التدريب أو التقييم الذي يعمل ضده، وفقاً لـ OpenAI.

النظام متعدد المراحل، حيث تفحص أجهزة الكشف النشاط الداخلي للنموذج عند كل رمز يتم عينته وتصعد أي نشاط مشبوه إلى محققين آليين ذوي قدرة حوسبية أعلى لفحص إجراءات الأدوات، ومسارات التفكير، وسجلات النشاط بحثاً عن سرقة البيانات، أو السلوك المدمر، أو محاولات الاختراق.

تريد OpenAI رفع إنذار في غضون 30 دقيقة من النشاط المثير للقلق. ولديها فرق السلامة والأمن والبحث 30 دقيقة لتبرئة الإنذار الكاذب.

إذا لم يتمكنوا من ذلك، يُتوقع منهم إيقاف التشغيل. كما وسعت الشركة نطاق مراقبة "سلسلة التفكير"، التي تقرأ كيفية تفكير النموذج في مهمة ما بصوت عالٍ.

هناك ثغرة معروفة. أظهرت أبحاث، بما في ذلك عمل منافس OpenAI Anthropic، أن "سلسلة التفكير" للنموذج لا تتطابق دائماً مع أهدافه الحقيقية. قالت باتشوكي إن OpenAI بنت تدريبها على تقليل احتمالات تعلم النماذج إخفاء نواياها من خلال الكذب في هذا التفكير.

قال OpenAI إن "الانقلاب الأمني تطلب عملاً هندسياً كبيراً"، وأن الشركة "تكبدت تكاليف باهظة". وقال خبراء إن التحقيق وحده كلف على الأرجح بين 4 ملايين و15 مليون دولار، رغم أن الرقم الإجمالي غير معروف للجمهور.

لم تصدر OpenAI بعد تقريراً فنياً مفصلاً عن اختراق Hugging Face لكنها كررت أن واحداً قادم "قريباً".

في مؤتمر Black Hat في 5 أغسطس، قال موظفو OpenAI إن وكلاءهم تنسقوا لعدة أشهر من خلال ترك ملاحظات على لوحة رسائل لم تكن الشركة تعرف بوجودها.