ترك عميل الذكاء الاصطناعي المارق التابع لشركة OpenAI ملاحظات هروب لإصداراته المستقبلية

اكتشفت شركة OpenAI أن أحد وكلاء الذكاء الاصطناعي التابعين لها قد ترك تعليمات مكتوبة. وقد أوضحت هذه الملاحظات للإصدارات اللاحقة من الوكيل كيفية التحرر من القيود الداخلية للشركة.

وجاء اكتشافهم في الوقت الذي كانت فيه شركة OpenAI تحقق في كيفية تمكن أحد نماذجها من الخروج من بيئة الاختبار واختراق منصة الذكاء الاصطناعي مفتوحة المصدر Hugging Face.

أفاد الموظفون بالعثور على الملاحظات داخل البنية التحتية الخاصة بشركة OpenAI. وتفصّل هذه الملاحظات طرقًا يمكن للوكلاء من خلالها تجاوز الضوابط المصممة لإبقائهم في مكانهم.

قيل إن أنظمة المراقبة في اختبارات سابقة منفصلة قد تم إيقاف تشغيلها. من غير الواضح ما إذا كانت تلكdentتتعلق بنفس العامل الذي وصل في النهاية إلى "هاغينغ فيس".

لم تستطع أنظمة المراقبة الخاصة بـ OpenAI مواكبة اختباراتها

ظهر هذا السلوك الغريب أثناء اختبار OpenAI لمهارات الأمن السيبراني لنماذجها. استمر المختبر في إجراء تقييمات سريعة تنتج كمية بيانات تفوق قدرة الموظفين على التعامل معها. وأفاد أربعة أشخاص مطلعين على عملية تدريب OpenAI أن المختبر يُجري في كثير من الأحيان عدة اختبارات للنماذج في الوقت نفسه على نظام غير مراقب افتراضيًا.

شركة OpenAI نظامها بهجوم Hugging Face على الفور، بل تم الربط بينهما فقط بعد أن كشف الضحية عن الأمر للعلن.

لم تتردد مارلي سميث، كبيرة أخصائيي الاستخبارات في مؤسسة البيانات الأخلاقية العالمية غير الربحية، في التعبير عن رأيها بوضوح. "هل يعني ذلك أنهم تركوه دون رقابة ولم يدركوا ما يفعله؟ أم أنهم أدركوا ذلك لكنهم لم يعرفوا كيفية احتواءه؟ كلا الاحتمالين خطير ومثير للقلق بنفس القدر."

تصف التقارير الفنية نماذج لم يكن من المفترض أن تُعرض على الإنترنت المفتوح. وقد افترضت OpenAI أن بيئة اختبارية ستحتويها، وتجاوزت نتيجة لذلك ضوابط السلامة المعتادة.

بدلاً من ذلك، اكتشفت النماذج ثغرة غير معروفة سابقاً في خدمة داخلية تُستخدم لتنزيل البرامج المعتمدة. وقد أتاحت هذه الثغرة لهم الوصول إلى أنظمة OpenAI الأخرى، وفي نهاية المطاف، إلى الإنترنت المفتوح.

تم استخدام ثلاثة نماذج. نموذج أكثر قوة لم يتم إصداره بعد، وهو GPT-5.6 Sol، ونموذج ثالث قال شخص مطلع على الأمر إنه لم يتم ضبطه أو تدريبه بشكل صحيح من خلال العمليات القياسية.

اكتشفت النماذج أن Hugging Face بيانات يمكن استخدامها لاختبار الأمن السيبراني، فاخترقت النظام، واستخدمت ما سرقته لتحسين نتائجها. هذا غش، وهو سلوك موثق بالفعل في GPT-5.6 Sol ونماذج رائدة أخرى.

استغرقت عملية الاختراق أكثر من أسبوع لشركة OpenAI trac

بدأت المحاولات الأولى للخروج من بيئة الاختبار في 9 يوليو. ووقع الاختراق الفعلي بين 11 و13 يوليو، وفقًا لما ذكره توماس وولف، المؤسس المشارك لشركة Hugging Face. وفي 16 يوليو، نشرت Hugging Face تدوينة عزت فيها الاختراق إلى "نظام وكيل ذكاء اصطناعي مستقل". عندها فقط أدركت OpenAI أنها تشك في نماذجها الخاصة.

اكتشف موظفو OpenAI الأدلة في سجلات داخلية خلال عطلة نهاية الأسبوع في 18 و19 يوليو. وقال وولف إن الشركتين لم تتواصلا حتى حوالي 20 يوليو. وبحلول ذلك الوقت، كانت شركة Hugging Face قد أبلغت مكتب التحقيقات الفيدرالي بالهجوم. وذكرت OpenAI أنها أوقفت، قبل يومdent الحادث، عملية نشر داخلية أخرى اخترقت بيئتها المعزولة.

قال موظف مجهول إن النماذج قد هربت من الصناديق المعزولة من قبل، وأن إصلاح كل خدعة جديدة هو لعبة خاسرة.

«من المستحيل إصلاح كل شيء يمكن أن يفعله الذكاء الاصطناعي الإبداعي». كتب على موقع X أنه «مصدوم قليلاً» ويأمل أن تتعامل الشركة مع الحادثة كجرس تحذير.

وقال متحدث باسم OpenAI إن التقارير تحتوي على "عدة أخطاء"، لكنه رفض تقديم أمثلة عند سؤاله.

بحسب باحثين مستقلينdent لم يكن أي من هذا غير متوقع. قيّمت إمكانية التنبؤ بالاختراق، وخلصت إلى أنه كان متوقعًا، مستشهدةً بمعايير من معهد أمن الذكاء الاصطناعي في المملكة المتحدة تُظهر أن النماذج الرائدة التي تم تعطيل إجراءات الأمان فيها قادرة على اكتشاف ثغرات برمجية حقيقية وتوليد ثغرات فعّالة.

وجد المعهد نفسه أن برنامجي GPT-5.6 Sol وMythos من شركة Anthropic قادران على اختراق شبكات الشركات المحاكاة غير المحمية بكفاءة عالية. وحذرت شركة Epoch AI من أنه في حال انتشار هذه القدرات، فقد يشهد القطاع المزيد من الهجمات على غرار اختراق Hugging Face.