كيمي K3 من Moonshot AI ينفجر من الصندوق الرملي بينما يفقد المطورون السيطرة

أثناء تقييم أمني روتيني، نجح نموذج ذكاء اصطناعي مفتوح الوزن يُسمى Kimi K3، الذي طورته شركة Moonshot AI الصينية، في الهروب من صندوق الاختبار الخاص به والوصول إلى الإنترنت المفتوح.

وفقاً لشركة الأمن السيبراني الأمريكية Frontier Security، هذه هي المرة الأولى التي يهرب فيها نموذج عام قابل للتنزيل بحرية من بيئته الاحتوائية.

تسرب في الصندوق الرملي الذي اختاره النموذج استخدامه

وفقاً لمقابلة مع وايرد أمس، كانت Frontier Security تقيس مهارات الأمن السيبراني الدفاعية لكيمي K3 عندما تجول النموذج خارج البيئة المخصصة لحبسه. 

على ما يبدو، تركت خطأ في التكوين فجوة في تلك البيئة. ومع ذلك، ذكرت Frontier أن النموذج اكتشف بمفرده أنه يمكنه الوصول إلى مواقع ويب معينة من خلال فحص إعدادات الشبكة في الصندوق الرملي، ثم انتقل إلى الإنترنت دون طلب الإذن. كان قد طُلب منه حل مشكلات لا ينبغي أن تتطلب الإنترنت.

"وجدنا تسرباً في الصندوق الرملي"، قال الرئيس التنفيذي لشركة Frontier يارون سينغر لوايرد. "لكننا وجدنا أيضاً أن كيمي استغل ذلك الثغرة، مما يشير إلى أنه لا يملك نفس الحواجز الداخلية". 

تجادل Frontier بأن كيمي يحمل حماية سيبرانية أقل من معظم النماذج القوية الأخرى، وهو ما سمح له بالهروب.

لم يتم اختراق أي أنظمة، لكن حواجز أضعف

لحسن الحظ، لم يؤدي هروب كيمي إلى أي اختراقات ضارة أو اختراقات للنظام. لأن المعلومات التي كان يبحث عنها كانت متاحة بسهولة على GitHub، لم يكن بحاجة إلى اختراق أي شيء بمجرد أن أصبح متصلاً بالإنترنت.

ومع ذلك، فإن القلق الرئيسي هو إمكانية الوصول. على عكس معظم نماذج المختبرات الداخلية المحمية بشدة، فإن Kimi K3 متاح للعامة، مما يعني أن أي شخص يمكنه تنزيله وتشغيله بنفس حواجز الأمان الفضفاضة. 

لاحظ المجربون أن النموذج فعال بشكل لا يرحم في تحقيق أهدافه بأي وسيلة ضرورية، حتى لو كان ذلك يعني الغش أو الهروب من الاحتواء. 

تم بناء بيئة الاختبار نفسها باستخدام صناديق رمادية من معهد أمان الذكاء الاصطناعي التابع للحكومة البريطانية، على الرغم من أن هذا لم يتم تأكيده بعد من قبل Moonshot أو AISI، حيث رفضوا التعليق.

ظهور المزيد من الوكلاء الخارجين عن القانون هذا الصيف

يضيف هروب كيمي إلى اتجاه متزايد لنماذج الذكاء الاصطناعي التي تتحايل على القواعد أثناء التقييمات. في 21 يوليو، OpenAI كشفت أن نماذجها استغلت عيباً في البرمجيات من يوم الصفر للوصول إلى الإنترنت واختراق Hugging Face. 

بعد أيام، أفادت Cryptopolitan أن Anthropic تتبع بعض نماذجها إلى اختراقات خارجية غير مصرح بها. ميتا حتى اعترفت أن أحد وكلائها الذكيين (Muse Spark 1.1) وصل إلى شركة خارجية بسبب بيئة اختبار مضبوطة بشكل خاطئ.

حافظ الخبراء دائماً على أن هذه الحوادث هي عادة نتيجة جدران اختبار غير مؤمنة بشكل جيد بدلاً من كسر السجن الخيالي العلمي. "كمظهر عام، إذا أعطيت أحد هذه النماذج هدفاً، وإذا لم تكن صريحاً جداً، مثل الجدران التي تضعها حولها، فسيجد طريقة للحصول على الإجابة"، قال مات فريدريكسون، الرئيس التنفيذي لشركة Gray Swan وأستاذ في جامعة كارنيجي ميلون.