يحذر المسؤولون التنفيذيون في OpenAI من الهلع مع تجاوز Astra عتبة الأمن السيبراني الحرجة

أعلن كبير علماء شركة OpenAI، جاكوب باتشوكي، في غضون ساعات من حصول الشركة على تصنيف "حرج" في مجال الأمن السيبراني في إطار عملها الخاص بالاستعداد، وذلك بعد أن قدمت لمحة عن نموذج أسترا القادم.

كان تحذير باتشوكي في وقت مبكر من يوم الأربعاء يهدف إلى تهدئة الهستيريا المحيطة بالتعليقات المتزايدة بأن مختبر الذكاء الاصطناعي قد لا يكون لديه بعد الآن أي ضمانات بشأن قدرات أكبر نماذجه.

لماذا يعتبر برنامج أسترا من شركة OpenAI "حرجًا"؟

تصنيف "الحرج" مستوىً في إطار الاستعداد الذي قدمته OpenAI لقطاع الذكاء الاصطناعي في ديسمبر 2023. ويقيس إطار الاستعداد مقدار التوجيه والتدخل البشري الذي يحتاجه نموذج الذكاء الاصطناعي للعثور على ثغرات يوم الصفر القابلة للتطبيق وبنائها عبر العديد من الأنظمة المحصنة، أو لتنفيذ هجوم جديد كامل.

يشير مصطلح "استغلال الثغرات الأمنية غير المعروفة" إلى استغلال العيوب التي لم يكتشفها حتى صانعو البرامج بعد.

أعلنت OpenAI بنفسها في الأول من سبتمبر في منشورها "الطريق إلى أسترا" أن النموذج سيكون قادراً على إكمال جميع خطوات الهجمات الجديدة الكاملة أو استغلال الثغرات الأمنية غير المعروفة بأقل قدر من التدخل البشري عند إطلاقه.

استشهدت OpenAI بنتيجة Astra البالغة 100% في ExploitBench، وهو اختبار لكيفية استغلال النماذج للأخطاء المعروفة، كدليل في منشور مدونتها.

لا يقتصر تميز Astra على قدرتها الفائقة على رصد هجمات اليوم الصفر، بل تتعداه إلى كفاءتها العالية. وقد أثبتت OpenAI هذه القدرة من خلال اختبار داخلي أجرته على 20 ثغرة أمنية خطيرة في محرك V8، والتي لم تُكشف للعامة إلا مؤخرًا. استهلكت Astra عددًا أقل من الرموز المميزة، واكتشفت ثغرتين من نوع اليوم الصفر، وتفوقت على Sol في توليد إمكانية تنفيذ التعليمات البرمجية العشوائية بشكل عام.

وذكر المنشور نفسه أن برنامج أسترا يمكنه ربط أخطاء المتصفح غير المعروفة في عملية هروب من بيئة الحماية، وقام بتجميع عملية تسلق امتيازات نظام التشغيل من مستخدم عادي إلى مستخدم جذري خلال تجارب يقودها خبراء.

كما ذكر موقع TechCrunch، ينضم Astra إلى نموذج Mythos الخاص بشركة Anthropic والذي صدر في وقت سابق من هذا العام كأول نموذج لغوي كبير يتمتع بهذه القدرات.

يطلب باتشوكي تجنب الذعر بشأن أسترا

يرفض باتشوكي، كبير علماء OpenAI، المخاوف المتزايدة بشأن دخول OpenAI منطقة مجهولة مع نظام Astra. ووفقًا له ، فإنه لا يريد "سباقًا نحو فقدان إمكانية المراقبة يبدأ بتقارير متضاربة".

أصرّ مسؤول تنفيذي في OpenAI على أن المختبر قد بذل العناية الواجبة في استخدام مراقبة سلسلة التفكير، وهي ممارسة قراءة خطوات التفكير التي يكشفها النموذج أثناء عمله. واستشهد بعمق الرسم البياني الحسابي وراء نماذج OpenAI الرائدة الحالية، بما في ذلك Astra، والذي لا يتجاوز ضعف عمق GPT-4 المذكور في منشور X.

قبل باتشوكي، دعا الرئيس التنفيذي لشركة OpenAI، سام ألتمان، أيضاً إلى الهدوء في نفس اليوم الذي تم فيه نشر مدونة أسترا.

كتب يوم الثلاثاء: "هناك توتر واضح هنا"، واصفاً أسترا بأنها "جيدة جداً" بينما جادل بأن الضمانات يجب أن تتطور بالتوازي مع القدرات الأساسية. وقال ألتمان إن OpenAI أمضت الصيف بأكمله في القيام بدورها لضمان شحن النموذج مع تدابير السلامة المطلوبة.

استمر الحديث عن السلامة لأسابيع. في 18 أغسطس، التزمت OpenAI بتعليق تدريب التعلم المعزز للنماذج الجاهزة للنشر لمدة أسبوعين، لإتاحة الفرصة لمهندسيها لتعزيز مجموعات البحث وتحسين المراقبة. استؤنف التدريب في 28 أغسطس.

بحسب شركة OpenAI، لم يكن نموذج أسترا متورطًا فيdent"الوجه المعانق" الشهيرة. وأضافت الشركة أن النموذج لم يحاول حتى الخروج من بيئته الافتراضية، حتى عند عرض سيناريو مصمم خصيصًا لإغرائه بإعادة تمثيل حادثة "الوجه المعانق".

تتخذ مختبرات الذكاء الاصطناعي الآن الحذر بشأن من يمكنه الوصول إلى نماذجها الرائدة

أعلنت OpenAI أن الجميع سيتمكن الآن من الوصول إلى أكثر وظائف Astra تقدماً، مع الاحتفاظ بهذه القدرات للمؤسسات في تحالف Daybreak التابع لـ OpenAI، بينما ستتمكن شركات Daybreak Blue من الوصول إلى أقوى الميزات الدفاعية.

كما Cryptopolitan ذكرت، قالت Anthropic أيضًا إن الشركات الموجودة في مشروعها Glasswing هي التي ستتمكن من الوصول إلى Mythos 5.1، وهو في الأساس Fable 5.1 مع ضمانات منفصلة.

أعلنت OpenAI أيضًا أنها ستراقب وتتحكم في عدد الردود على الاستفسارات الواردة من الحسابات التي تعتبرها عالية المخاطر. وبشكل عام، سيُزوّد ​​نظام Astra بآلية مراقبة إضافية لتسلسل العمليات لرصد السلوكيات الضارة ورفض الطلبات الإلكترونية الخبيثة بشكل متكرر.

تم توفير معظم المعلومات المتعلقة بـ Astra من قبل OpenAI نفسها، مع تحقق محدود من جهات خارجية من مزاعم OpenAI بشأن السلامة أو القدرات.

تساءلت يونا شافيت، وهي موظفة سابقة في OpenAI تعمل الآن على مرونة الذكاء الاصطناعي في مؤسسة OpenAI، علنًا عما إذا كان سلوك أسترا أثناء الاختبارات يعكس توافقًا حقيقيًا أم أنه نموذج يعرف ببساطة ما يريد المقيمون رؤيته.

تُشير OpenAI إلى أن بطاقة النظام الكاملة والمزيد من التقييمات ستُتاح عند إطلاق Astra على نطاق واسع. وحتى ذلك الحين، يبقى من الصعب تقييم مدى قدراتها في مجال الأمن السيبراني وقوة الحماية التي توفرها.