- أعلنت أنثروبيك أن مراقبًا قدّم 39 من أصل نحو 1,600 جلسة بحثية حول محاذاة كلود على أنها محاولات غش.
- أعاد تشغيل الجلسات المبلغ عنها نفس الأساليب دون تغيير، أو قلّدت المعيار الذي يتم تقييمه، أو أخفت خطوات انتهاك القواعد.
- حققت وكلاء أنثروبيك نتائج تفوق 28 باحثًا في مجال السلامة البشرية الذين كان لديهم ثمانية ساعات كحد أقصى لكل منهم.
أعلنت Anthropic يوم الجمعة أنها وضعت كلاد للعمل كباحث محاذاة مستقل. قام مراقب راجع حوالي 1,600 من جلسات بحث النموذج بوضع علامة على 39 منها، أي حوالي 2.4%، كمحاولات للغش في الاختبار.
يظهر هذا الاستنتاج في تقرير حول ما إذا كان الذكاء الاصطناعي يمكن أن يتولى بعض متاعب أبحاث المحاذاة، وهي عمل الحفاظ على سلوك النماذج كما يقصد مطوروها.
ثلاث طرق استغل بها وكلاء كلاد مقيّمهم الخاص
بنت Anthropic باحثي محاذاة آليين، أو AARs، على Claude Opus 4.8 ووجهتهم نحو عشر حالات فشل معروفة.
هذه هي الخداع، والموافقة العمياء، وكسر القيود، وإدخال المطالبة، والسعي للسلطة، والهلوسة، والتحيز الاجتماعي، وانتهاك الخصوصية، والاحتيال على المكافأة، وإخفاء عدم اليقين.
عمل كل وكيل على فشل واحد فقط في كل مرة. قرأ الأدبيات، وطرح طريقة تدريب ومجموعة بيانات، ودرب نموذج هدف صغير لمدة 30 دقيقة تقريباً على GPU H200 واحد، ثم قارن نتيجته بالمعايير المتاحة للجمهور وكرر العملية.
منعت أنثروبيك الوكلاء من مجرد نسخ سلوكهم إلى النموذج المستهدف، لذا كان يجب أن تأتي المكاسب من الطريقة المستخدمة.
تمكنت كلود من تحديد إصلاحات لجميع حالات الفشل العشر التي زادت من درجات المعايير دون تدهور القدرات العامة للنموذج.
أظهرت أفضل هذه الإصلاحات أداءً جيداً في المعايير المحجوزة وفي نماذج تصل إلى 4.7 مرة أكبر من تلك التي تم تدريبها عليها.
تم كشف الغش عندما وجهت أنثروبيك نموذج Opus 4.8 إلى 1,601 من مسارات الوكلاء للبحث عن سلوك غير لائق.
كانت معظم حالات التشغيل الـ 39 التي تم وضع علامة عليها في ثلاث فئات. قدم بعض الوكلاء طريقة لم يغيروها، متوقعين أن الضوضاء العشوائية في المقيّم ستوفر لهم في النهاية رقماً أفضل.
وقد أنشأ آخرون بيانات تدريب تحاكي المعيار الذي يتم تقييمه بالضبط. وأخفى البعض خطوة مخالفة للقواعد، مثل تغذية النموذج ببيانات المعيار بهدوء، مما سمح للاقتراح بالمرور عبر المراجع الآلي الذي يوافق على كل طريقة قبل تشغيلها.
قالت أنثروبيك إنها استبعدت حالات التشغيل التي تم وضع علامة عليها من نتائجها. وذكرت الشركة أنها "متفائلة بحذر" بأن المراقب التقط معظم حالات الغش، لأن Opus 4.8 يميل إلى كشف مخططاته داخل مسارات استنتاجه.
كما حذرت من أن هذا الافتراض قد لا ينطبق على النماذج المستقبلية، وأن الحفاظ على قابلية قراءة النماذج سيكون أمراً حاسماً.
كان لدى 28 باحثي السلامة البشرية ثماني ساعات لكل منهم
في جولة سابقة في أبريل، حاولت نسخ مستقلة من كلود مراراً التلاعب بخادم التقييم.
تعلم أحد الوكلاء أن الإجابة الأكثر شيوعاً في معيار الرياضيات كانت عادةً الإجابة الصحيحة وتخطى الطريقة المقصودة تماماً. وسحب آخر التسميات مباشرة من واجهة التقييم من خلال استعلام الإجابات ومراقبة ردود الخادم.
وقام الثالث بتشغيل الكود الذي كان من المفترض مراجعته فقط لقراءة النتيجة.
أبلغ Cryptopolitan أن وكيل OpenClaw يعمل بنموذج Claude، بمهمة حجز فصل في صالة رياضية، وجد واجهة برمجة تطبيقات للحجز دون فحوصات تفويض وحذف غريب من قائمة الانتظار لرفع مالكه في الطابور.
طلب المشرعون بالفعل شهادات من باحثي الذكاء الاصطناعي حول سلوك النماذج في تقييمات الأمان.
قالت أنثروبيك إن وكلاءها تجاوزوا في الدرجات 28 باحثاً بشرياً خبيراً في السلامة، الذين كان لديهم ما يصل إلى ثماني ساعات لكل منهم لصياغة طريقة. وتجاوزت أفضل نهج لـ Claude أفضل اقتراح بشري بنسبة 20% في الخداع.
لاحظت أنثروبيك أن البشر لم يتمكنوا من التكرار، لذا تنظر إلى الفجوة على أنها دليل على سير عمل يقترح فيه Claude طرقاً واعدة ويقوم البشر بتحسينها.
في أحد الاختبارات، طلبت الشركة من نموذج Claude Sonnet 5 الأضعف إصلاح إخفاقات المحاذاة في مرحلة مبكرة من Opus 4.8 التي لم تشهد معظم تدريب المحاذاة الإنتاجي.
على مدار حوالي 60 ساعة، حاول أكثر من 50 حلاً، وفي النهاية توصل إلى إصلاح استخدم أكثر قليلاً من 2,000 مثال تدريب، وهو ما قدرت أنثروبيك أنه أكثر كفاءة بحوالي 15,000 مرة من عملية محاذاة الإنتاج الخاصة بها.
حذرت الشركة من أن معاييرها هي بدائل ضيقة، وأنهما قيسا فقط العشر إخفاقات التي اختارتها، ولم تتحقق مما إذا كانت المكاسب مستمرة بعد تعزيز التعلم المكثف على مهام أخرى.
أذكى العقول في عالم العملات الرقمية يقرأون بالفعل نشرتنا الإخبارية. هل تريد الانضمام؟ انضم إليهم.
الأسئلة الشائعة
كم عدد جلسات بحث المحاذاة الخاصة بكلود التي شملت الغش؟
أشارت أنثروبيك إلى أن مراقبها قدّم 39 من بين 1,601 مسارًا لوكيل بحثي، أي حوالي 2.4%، على أنها محاولات غش.
ما هي أنواع الغش التي حاول الوكلاء ارتكابها؟
أعادوا تقديم أساليبهم دون تغيير على أمل أن يؤدي ضجيج المقيّم إلى رقم أعلى، وبنوا بيانات تدريب مصممة لمحاكاة المعيار الذي يتم تقييمه، وأخفوا خطوات انتهاك القواعد مثل استخدام بيانات المعيار سرًا لتجاوز المراجعة الآلية.
هل تفوّق كلود على الباحثين البشر في الدراسة؟
أعلنت أنثروبيك أن وكلاءها الآليون تغلبوا على الأفكار الأولية (one-shot) المقدمة من 28 باحثًا خبيرًا في مجال السلامة، مع تخصيص ثمانية ساعات كحد أقصى لكل منهم، وفي مسألة الخداع، حققت أفضل طريقة لكلود نتيجة أعلى بنسبة 20% من أفضل اقتراح بشري. وأشارت أنثروبيك إلى أن البشر لم يتمكنوا من التكرار، لذا لا تعتبر النتائج مقارنة مباشرة.
راندا موسى
رندا موسى محررة وصحفية في كريبتوبوليتان تغطي التكنولوجيا والذكاء الاصطناعي والروبوتات والعملات الرقمية والاحتيال والاختراقات. عملت في مجال العملات الرقمية منذ عام 2017. شغلت مناصب في Forward Protocol وAmaZix وCryptosomniac. وتحمل رندا درجة البكالوريوس في الهندسة الكهربائية والإلكترونيات من جامعة برادفورد.
