Anthropic تقول إنها “ألغت” قدرة Claude على ابتزاز البشر

أعلنت Anthropic يوم الجمعة أن Claude لم يعد يشارك في الابتزاز أثناء تقييمه الأساسي للسلامة لوكلاء الذكاء الاصطناعي.

وفقاً لـ Anthropic، جميع إصدارات Claude التي تم إنشاؤها بعد Claude Haiku 4.5 قد اجتازت تقييم السلامة دون تهديد المهندسين، أو استخدام البيانات الخاصة، أو مهاجمة أنظمة الذكاء الاصطناعي الأخرى، أو محاولة منع إيقاف تشغيلها أثناء السيناريو المحاكي.

هذا بعد أداء غير مواتٍ لـ Claude خلال اختبار العام الماضي، حيث اختبرت Anthropic نماذج ذكاء اصطناعي مختلفة من منظمات مختلفة باستخدام معضلات أخلاقية محاكية أدت إلى سلوك غير متوافق جداً لبعض وكلاء الذكاء الاصطناعي عند تعرضهم لظروف متطرفة.

Anthropic تقول إن Claude 4 أظهر مشكلة سلامة فشل التدريب العادي للدردشة في إصلاحها

أعلنت Anthropic أن هذه المشكلة حدثت أثناء تدريب Claude 4. كانت هذه هي المرة الأولى التي أجرت فيها الشركة تدقيقاً للسلامة أثناء التدريب لا يزال مستمراً في المجموعة. وفقاً للشركة، فإن عدم محاذاة الوكلاء هو مجرد واحد من العديد من مشاكل السلوك التي لوحظت، مما دفع Anthropic إلى تعديل تدريبها للسلامة بعد اختبار Claude 4.

السببان اللذان نظرتهما Anthropic يشملان احتمال أن يكون تدريب ما بعد النموذج الأساسي يكافئ السلوكيات غير الملائمة أو أن السلوكيات كانت موجودة بالفعل داخل النموذج الأساسي، ولكن لم يتم القضاء عليها بفعالية من خلال التدريب الإضافي للسلامة.

تعتقد Anthropic أن السبب الأخير كان المساهم الرئيسي.

في ذلك الوقت، استخدم معظم عمل المحاذاة في الشركة طريقة RLHF القياسية، أو التعلم المعزز من التغذية الراجعة البشرية. عملت بشكل جيد في الدردشات القياسية حيث تستجيب النماذج لطلبات المستخدمين لكنها ثبتت عدم فعاليتها عند أداء مهام تشبه الوكلاء.

استخدمت الشركة نموذجها من فئة Haiku لإجراء تجربة مصغرة حول الفرضية. طبقت نسخة مختصرة من التدريب تضمنت بيانات لأغراض المحاذاة. كان هناك انخفاض طفيف في السلوك الخاطئ، يليه عدم وجود تحسن قريباً، مما يعني أن الإجابة لم تكن مسألة تدريب أكثر تقليدية.

ثم دربت الشركة Claude باستخدام سيناريوهات على شكل فخ عسل تشبه تلك الموجودة في اختبار المحاذاة. لاحظ المساعد مواقف مختلفة تتضمن حماية نفسها، وإيذاء ذكاء اصطناعي آخر، وحتى كسر القواعد لتحقيق هدف. شمل التدريب جميع الحالات التي تمكن فيها المساعد من المقاومة.

جعلت هذه الممارسة عدم المحاذاة ينخفض من 22% إلى 15%، وهو ليس سيئاً لكنه بالتأكيد ليس كافياً. سمح إعادة كتابة الإجابات لذكر سبب الرفض بتقليل النسبة إلى 3%. وبالتالي، كانت الاستنتاج الرئيسي هو أن التدريب على السلوك الخاطئ كان أقل فعالية من التدريب على سبب كون السلوك الخاطئ غير لائق.

Anthexper تختبر Claude ببيانات الأخلاقيات، وملفات الدستور، وتدريب RL أوسع

ثم توقفت Anthropic عن التدريب قريباً جداً من الاختبار الدقيق. أنشأت مجموعة بيانات تُسمى نصائح صعبة. في تلك الأمثلة، واجه المستخدم المشكلة الأخلاقية، وليس الذكاء الاصطناعي. كان لدى المستخدم هدف عادل لكنه يمكن أن يصل إليه بكسر القواعد أو تجنب الإشراف. كان على Claude تقديم نصيحة حذرة بناءً على دستور Claude.

استخدمت تلك المجموعة البيانات فقط 3 ملايين رمز وطابقت المكاسب السابقة بكفاءة أفضل بـ 28 مرة. قالت Anthropic إن هذا كان مهماً لأن التدريب على أمثلة لا تشبه الاختبار قد يعمل بشكل أفضل خارج المختبر.

وصل Claude Sonnet 4.5 إلى معدل ابتزاز قريب من الصفر بعد التدريب على فخاخ عسل اصطناعية، لكنه لا يزال يفشل في كثير من الأحيان في الحالات التي لا تشبه ذلك الإعداد على الإطلاق من Claude Opus 4.5 والنماذج الأحدث.

دربت الشركة أيضاً Claude على وثائق دستورية وقصص خيالية حول سلوك الذكاء الاصطناعي الذي يتبع القواعد. لم تبدو هذه الملفات مثل اختبار الابتزاز، لكنها قللت من عدم محاذاة الوكلاء بأكثر من ثلاثة أضعاف. قالت Anthropic إن الهدف كان إعطاء النموذج إحساساً أوضح بما يجب أن يكون عليه Claude، وليس مجرد قائمة بالإجابات المعتمدة.

ثم تحقق الشركة مما إذا كانت هذه المكاسب قد استمرت بعد تدريب RL. قامت بتدريب إصدارات مختلفة من فئة Haiku باستخدام مجموعات بيانات ابتدائية مختلفة، ثم شغّلت RL في إعدادات اختبار تركز على السلامة. ظلت الإصدارات الأكثر توافقاً في المقدمة في اختبارات الابتزاز، وفحوصات الدستور، والمراجعات الأمنية الآلية.

استخدم اختبار آخر النموذج الأساسي تحت Claude Sonnet 4 مع مزيج مختلف من RL. شملت بيانات السلامة الأساسية طلبات ضارة ومحاولات اختراق. أضاف الإصدار الأوسع تعريفات الأدوات ومختلفة نصوص النظام، حتى وإن لم تكن الأدوات ضرورية للمهام. أدى هذا الإعداد إلى تحقيق مكسب صغير لكنه حقيقي في درجات فخ العسل.