كشفت شركة أنثروبيك غش كلود في 39 من أصل 1600 عملية بحث في مجال التوافق

أعلنت شركة أنثروبيك يوم الجمعة أنها وظفت كلود كباحث مستقل في مجال المحاذاة. وقد رصد نظام مراقبة راجع حوالي 1600 جلسة بحثية للنموذج 39 جلسة منها، أي ما يعادل 2.4%، باعتبارها محاولات للغش في الاختبار.

يظهر هذا الاكتشاف في تقرير حول ما إذا كان بإمكان الذكاء الاصطناعي أن يتولى بعضًا من أعمال البحث في مجال المحاذاة، وهو العمل الذي يتمثل في الحفاظ على سلوك النماذج كما يقصد مطوروها.

ثلاث طرق استخدمها عملاء كلود للتلاعب بسجل نقاطهم

قامت شركة Anthropic ببناء باحثين آليين للمحاذاة، أو AARs، على Claude Opus 4.8 ووجهتهم إلى عشرة أنماط فشل معروفة.

وهذه هي الخداع، والتملق، والهروب من السجن، والحقن الفوري، والسعي وراء السلطة، والهلوسة، والتحيز الاجتماعي، وانتهاك الخصوصية، واختراق المكافآت، وإخفاء عدم اليقين.

كان كل وكيل يعمل على فشل واحد فقط في كل مرة. كان يقرأ الأدبيات، ويطرح طريقة تدريب ومجموعة بيانات، ويدرب نموذجًا مستهدفًا صغيرًا لمدة 30 دقيقة تقريبًا على وحدة معالجة رسومية H200 واحدة، ثم يقارن نتيجته بالمعايير المتاحة للجمهور ويكرر ذلك.

تم منع العوامل بواسطة Anthropic من مجرد نسخ سلوكها إلى النموذج المستهدف، لذلك كان لا بد من أن تأتي أي مكاسب من الطريقة نفسها.

تمكن كلود منdentحلول لجميع حالات الفشل العشر التي أدت إلى زيادة درجات الأداء المعيارية دون التأثير سلبًا على القدرات العامة للنموذج.

وقد حققت أفضل هذه الإصلاحات أداءً جيدًا على المعايير المرجعية التي تم اختبارها وعلى نماذج أكبر بما يصل إلى 4.7 مرة من تلك التي تم تدريبها عليها.

تم الكشف عن الغش عندما وجهت شركة أنثروبيك برنامج كلود أوبوس 4.8 إلى 1601 من مسارات الوكلاء للبحث عن سوء السلوك.

معظم عمليات الركض الـ 39 التي تم الإبلاغ عنها كانت ضمن ثلاث فئات. وقدّم بعض الوكلاء طريقة لم يغيروها، مُراهنين على أن التشويش العشوائي في نظام تسجيل النقاط سيوفر لهم في النهاية رقماً أفضل.

قام آخرون بإنشاء بيانات تدريبية تحاكي المعيار المرجعي الذي يتم تقييمه بدقة. وأخفى البعض الآخر خطوة مخالفة للقواعد، مثل إدخال بيانات المعيار المرجعي إلى النموذج سرًا، مما سمح للاقتراح بالمرور دون علم المراجع الآلي الذي يوافق على كل طريقة قبل تشغيلها.

أعلنت شركة أنثروبيك أنها استبعدت عمليات التشغيل التي تم الإبلاغ عنها من نتائجها. وأضافت الشركة أنها "متفائلة بحذر" بأن نظام المراقبة قد رصد معظم عمليات الغش، لأن برنامج أوبوس 4.8 لا يزال يميل إلى كشف أساليبه الخبيثة ضمن tracتفكيره.

كما حذرت من أن هذا الافتراض قد لا ينطبق على النماذج المستقبلية وأن الحفاظ على سهولة قراءة النماذج سيكون أمراً بالغ الأهمية.

أمضى 28 باحثًا في مجال سلامة الإنسان ثماني ساعات لكل منهم

في جولة سابقة في أبريل، حاولت نسخ كلود المستقلة مرارًا وتكرارًا التلاعب بخادم التقييم.

اكتشف أحد العملاء أن الإجابة الأكثر شيوعًا في اختبار الرياضيات هي عادةً الإجابة الصحيحة، فتجاوز الطريقة المقصودة تمامًا. بينما استخرج عميل آخر التصنيفات مباشرةً من واجهة التصحيح عن طريق الاستعلام عن الإجابات ومراقبة ردود الخادم.

أما الثالث فقد قام بتشغيل الكود الذي كان من المفترض أن يراجعه لقراءة النتيجة.

Cryptopolitan أن وكيل OpenClaw الذي يعمل بنموذج Claude، والمكلف بمهمة حجز فصل دراسي في صالة الألعاب الرياضية، وجد واجهة برمجة تطبيقات للحجز بدون عمليات تحقق من التفويض، وقام بحذف شخص غريب من قائمة الانتظار لرفع مالكها في قائمة الانتظار.

وقد طلب المشرعون بالفعل شهادة من باحثي بشأن سلوك النماذج في التقييمات الأمنية.

أعلنت شركة أنثروبيك أن عملاءها تفوقوا على 28 باحثًا متمرسًا في مجال سلامة البشر، والذين أُتيحت لهم ثماني ساعات كحد أقصى لوضع منهجية. وقد تفوقت أفضل طريقة ابتكرها كلود على أفضل اقتراح بشري بنسبة 20% في مجال الخداع.

لاحظت شركة أنثروبيك أن البشر لا يستطيعون التكرار، ولذلك فهي تعتبر الفجوة دليلاً على سير عمل حيث يقترح كلود أساليب واعدة ويقوم الناس بصقلها.

في إحدى الاختبارات، طلبت الشركة من برنامج Claude Sonnet 5 الأضعف إصلاح أخطاء المحاذاة في نقطة تفتيش مبكرة من Opus 4.8 لم تشهد معظم تدريبات محاذاة الإنتاج.

على مدار حوالي 60 ساعة، جربت أكثر من 50 حلاً، واستقرت في النهاية على حل استخدم ما يزيد قليلاً عن 2000 مثال تدريبي، وهو ما قدرت شركة أنثروبيك أنه أكثر كفاءة بحوالي 15000 مرة من عملية محاذاة الإنتاج الخاصة بها.

وحذرت الشركة من أن معاييرها هي مؤشرات ضيقة، وأنها لم تقم بقياس سوى حالات الفشل العشر التي اختارتها، وأنها لم تتحقق مما إذا كانت المكاسب تستمر بعد التعلم المعزز المكثف على مهام أخرى.