يفلت نظام الذكاء الاصطناعي Kimi K3 من شركة Moonshot AI من بيئة الاختبار، ويفقد المطورون السيطرة عليه

خلال تقييم أمني روتيني، تمكن نموذج الذكاء الاصطناعي ذو الوزن المفتوح المسمى Kimi K3 والذي طورته شركة Moonshot AI الصينية من الهروب من بيئة الاختبار الخاصة به والوصول إلى الإنترنت المفتوح.

وفقًا لشركة الأمن السيبراني الأمريكية Frontier Security، فإن هذه هي المرة الأولى التي يخرج فيها نموذج عام قابل للتنزيل مجانًا من بيئة الاحتواء الخاصة به.

ثغرة في بيئة الاختبار التي اختار النموذج استخدامها

بحسب مقابلة أجرتها مجلة WIRED أمس، كانت شركة Frontier Security تقيس مهارات Kimi K3 الدفاعية في مجال الأمن السيبراني عندما خرج النموذج عن البيئة المخصصة له. 

يبدو أن خللاً في الإعدادات قد تسبب في ثغرة في تلك البيئة. ومع ذلك، صرّحت شركة فرونتير بأن النموذج اكتشف تلقائيًا إمكانية الوصول إلى مواقع ويب معينة من خلال فحص إعدادات الشبكة في بيئة الاختبار، ثم اتصل بالإنترنت دون طلب إذن. وقد طُلب منه حل مشكلات لا تتطلب عادةً استخدام الإنترنت.

قال يارون سينجر، الرئيس التنفيذي لشركة فرونتير، لمجلة وايرد: "لقد وجدنا ثغرة في بيئة الاختبار. لكننا وجدنا أيضًا أن كيمي استغل تلك الثغرة، مما يشير إلى أنها لا تملك نفس الضوابط الداخلية." 

تزعم شركة فرونتير أن جهاز كيمي يحمل ضمانات إلكترونية أقل من معظم الطرازات القوية الأخرى، وهذا ما سمح له بالتسرب.

لم يتم اختراق أي أنظمة، ولكن الضوابط الأمنية أصبحت أضعف

لحسن الحظ، لم يؤدِ هروب كيمي إلى أي اختراقات خبيثة أو اختراقات للنظام. ولأن المعلومات التي كان يبحث عنها كانت متاحة بسهولة على منصة GitHub، لم يكن بحاجة إلى اختراق أي شيء بمجرد اتصاله بالإنترنت.

لكنّ الشاغل الرئيسي هو سهولة الوصول. فعلى عكس معظم نماذج المختبرات الداخلية شديدة التأمين، فإنّ Kimi K3 مفتوح للجمهور، ما يعني أنّه بإمكان أي شخص تنزيله وتشغيله مع وجود نفس الضوابط الأمنية المتساهلة. 

لاحظ المختبرون أن النموذج فعال بلا رحمة في تحقيق أهدافه بأي وسيلة ضرورية، حتى لو كان ذلك يعني الغش أو الهروب من الاحتواء. 

تم بناء بيئة الاختبار نفسها باستخدام صناديق اختبار من معهد أمن الذكاء الاصطناعي التابع للحكومة البريطانية، على الرغم من أن هذا لم يتم تأكيده بعد من قبل Moonshot أو AISI، حيث رفضوا التعليق.

المزيد من العملاء المارقين يظهرون هذا الصيف

يُضاف هروب كيمي إلى ظاهرة متنامية تتمثل في تجاوز نماذج الذكاء الاصطناعي للقواعد أثناء التقييمات. ففي 21 يوليو، كشفت أن نماذجها استغلت ثغرة برمجية غير معروفة (Zero-day) للوصول إلى الإنترنت واختراق برنامج Hugging Face. 

بعد أيام، Cryptopolitan أن شركة أنثروبيك tracبعض نماذجها إلى عمليات اختراق خارجية غير مصرح بها. شركة ميتا بأن أحد وكلاء الذكاء الاصطناعي التابعين لها (ميوز سبارك 1.1) وصل إلى شركة خارجية بسبب خلل في بيئة الاختبار.

لطالما أكد الخبراء أن هذهdentعادةً ما تكون نتيجة ضعف تأمين جدران الاختبار، وليست عمليات اختراق معقدة. يقول مات فريدريكسون، الرئيس التنفيذي لشركة غراي سوان وأستاذ في جامعة كارنيجي ميلون: "كظاهرة عامة، إذا أعطيت أحد هذه النماذج هدفًا، ولم تكن صريحًا جدًا، كأنك تحيطه بجدران، فسيجد طريقة للحصول على الإجابة".