مختبرات بريطانية أمريكية تجد أن نظام Kimi K3 يتخلف عن النماذج الأمريكية الرائدة في مهام الهجمات الإلكترونية

ذكر تقرير تقييم مشترك أن نظام Kimi K3 التابع لشركة Moonshot AI ليس على مستوىtronأنظمة الذكاء الاصطناعي الأمريكية عندما يتعلق الأمر ببناء ثغرات البرامج وتنفيذ هجمات الشبكة المحاكاة. 

أجرى معهد أمن الذكاء الاصطناعي في المملكة المتحدة (AISI) ومركز معايير الذكاء الاصطناعي والابتكار في الولايات المتحدة (CAISI) التقييم، ونشروا نتائجهم في 23 يوليو.

من المتوقع أن تكشف شركة Moonshot عن الأوزان الكاملة للنموذج للجمهور في 27 يوليو، وتشير النتائج إلى أن إجراءات الحماية الخاصة بـ Kimi K3 لم تفعل شيئًا لمنعه من المساعدة في الأعمال الإلكترونية الهجومية.

ماذا كشف التقييم المشترك عن كيمي كيه 3؟

المعهدان اختبارًا على برنامج Kimi K3 باستخدام منصة ExploitBench، وهي اختبار من جامعة كارنيجي ميلون يقيس مدى قدرة النموذج على استغلال ثغرة أمنية حتى اكتمالها. يعتمد الاختبار على 41 ثغرة أمنية تم اكتشافها في محرك V8 لمتصفح Chrome بعد عام 2023. حقق Kimi K3 نسبة 32%. وبلغ متوسط ​​أداء النماذج الرائدة من الولايات المتحدة 76.2%، بينما حقق النموذج الصيني GLM-5.2 نسبة 24%.

يُعدّ تنفيذ التعليمات البرمجية العشوائية، الذي يمنح المهاجم سيطرة كاملة على الجهاز المستهدف، أخطر نتائج هذا الاختبار المعياري. وقد حققت النماذج الأمريكية هذا الهدف في 20 مهمة من أصل 41 مهمة في المتوسط، بينما لم يحققه جهاز Kimi K3 في أي منها.

فشل نظام GLM-5.2 أيضاً في تحقيق ذلك. لذا، فبينما يتفوق نظام Kimi K3 الآن على منافسيه في فئة الوزن المفتوح من حيث القدرات السيبرانية، إلا أنه يفتقر إلى القدرة على إلحاق أكبر قدر من الضرر في حال وقوع هجوم حقيقي.

في منتصف عملية اختراق شبكة مكونة من 32 خطوة

الاختبار الثاني، المسمى "الأخيرون"، يقوم بإسقاط نموذج في شبكة مؤسسية محاكاة مع حوالي 20 مضيفًا موزعين على أربع شبكات فرعية. 

سيستغرق الأمر من أخصائي بشري حوالي 20 ساعة لإتمام المسار الكامل المكون من 32 خطوة. بلغ متوسط ​​خطوات جهاز Kimi K3 الخطوة 17، بينما بلغ متوسط ​​خطوات أفضل النماذج الأمريكية 28.5، وبلغ متوسط ​​خطوات جهاز GLM-5.2 الخطوة 11.

ومع ذلك، لاحظ المقيمون أن Kimi K3 أنهى السلسلة بأكملها مرة واحدة من أصل عشر محاولات وبقي تحت سقف الـ 100 مليون رمز الذي حدده المقيمون. 

نجحت أفضل النماذج الأمريكية في حلّها ست أو سبع مرات من أصل عشر. اعتبرت المعاهد هذا النجاح الوحيد دليلاً على قدرة النموذج؛ إلا أنه لا يستطيع استدعاء هذه القدرة عند الطلب. وأشاروا إلى أن نطاق الرؤية لا يحتوي على مدافعين نشطين، وأن مسار الوصول إلى الهدف مُدمج فيه، مما يُغري أي مهاجم.

هل يمتلك جهاز Kimi K3 ضمانات تمكنه من الرفض؟

أشار المُقيّمون إلى أن استعداد النموذج لتنفيذ المهام دون أي اعتراض يُشكّل خطراً كبيراً. وذكروا: "يستطيع برنامج Kimi K3 مهاجمة أنظمة المؤسسات الصغيرة والضعيفة الدفاع والهشة بشكل مستقل عند توجيهه للقيام بذلك ومنحه إمكانية الوصول الأولي إلى الشبكة" 

سبق أن حذرت AISI من أن تزايد القدرة على استخدام النماذج المفتوحة يخلق "خطرًا مستمرًا لا رجعة فيه لسوء الاستخدام". وبمجرد أن تصبح أوزان Kimi K3 متاحة للعامة في 27 يوليو، لن يتمكن أي شخص يستضيفها من التحكم في سلوكها.

لماذا تتراجع نتائج اختبار Kimi K3 في مجال الأمن السيبراني مقارنةً بنتائجه العامة؟

قبل هذا التقرير، كان لدى كيمي كيه 3tronمعايير عامة، ولم يتغير ذلك؛ إلا أنه كشف عن أوجه قصوره عند اختبار قدراته السيبرانية. وبحسب التقارير، تفوق النموذج الصيني ذو 2.8 تريليون مُعامل على كلود 4.8 وجي بي تي 5.5، كما تصدر بعض قوائم المتصدرين.

ووفقاً للمعاهد، قد يكون هذا ممكناً نتيجة لكيفية بناء النموذج.

اتهم مدير العلوم في البيت الأبيض مايكل كراتسيوس شركة مونشوت في 22 يوليو/تموز باستخلاص نموذج فابل الخاص بشركة أنثروبيك، واستخدام مخرجاته كبيانات تدريب. 

تحجب مصنفات أنثروبيك المطالبات الإلكترونية الهجومية المتقدمة. وهذا يعني أن مجموعة التدريب المستخلصة من ردود كلود لن توفر مواد كافية حول تلك المهارات تحديدًا. 

لا يمتلك Kimi K3 تلك المصنفات، وهذا ما سمح له بمطابقة النماذج الغربية في العمل العام بينما كان لا يزال يعاني من قصور في القدرة على الاستغلال.