تقاتل عملاء كلود فيما بينهم باستخدام برامج خبيثة ذاتية التكاثر في اختبار أنثروبيك
صورة من تصوير Planet Volumes على موقع Unsplash.
- قام ثلاثة عملاء من عملاء كلود، ممن كُلِّفوا بنفس مهمة البرمجة ولكن بأوامر متضاربة، بمهاجمة بعضهم البعض باستخدام برامج خبيثة ذاتية التكاثر.
- لقد حسمت لعبة Mythos 5 النزاعات عن طريق الهدنة في 98% من الجولات، بينما لم تحل لعبتا Sonnet 4.6 و Opus 4.6 القتال أبدًا أو أنهتاه بالقوة.
- وفي لعبة تسعير منفصلة، اتفق الوكلاء على الحد الأدنى للأسعار على الفور تقريباً واستمروا في التواطؤ من خلال مطابقة الأسعار "بدقة متناهية"
توصل بحث نُشر في 13 أغسطس من قبل فريق Frontier Red التابع لشركة Anthropic إلى أن عملاء Claude، الذين تم تكليفهم بمهمة برمجة واحدة بأوامر متضاربة، هاجموا بعضهم البعض باستخدام برامج ضارة ذاتية التكاثر.
تأتي هذه النتائج في الوقت الذي تسارع فيه الشركات إلى طرح وكلاء مستقلين عبر قواعد البيانات المشتركة والأسواق.
ثلاثة عملاء من كلود، مهمة واحدة، ولا أحد يعلم بوجود الآخرين هناك
قامت شركة أنثروبيك بتشغيل ثلاث نسخ من نفس نموذج كلود على أجهزتها الافتراضية الخاصة داخل كود كلود.
طُلب من كل واحد منهم نقل نفس الواجهة الخلفية المكتوبة بلغة بايثون إلى لغة برمجة مختلفة. لم يكن الثلاثة على علم بوجود الآخرين.
وكتب الباحثون: "لقد رأينا باستمرار حرب نفوذ بين عدة جهات".
قرر كل عميل أن الآخرين يعرقلون عمله عمدًا، واتخذ خطوات لحماية عمله على حساب إفساد عمل الآخرين. وافترضت جميع النماذج أن الآخرين "يعرقلون عملهم عمدًا"
قام العملاء بتعطيل حسابات يونكس الخاصة ببعضهم البعض. وكتبوا برامج نصية تتكرر عبر الجهاز، وتطارد وتقتل العمليات المنافسة وتخفي التعليمات البرمجية الخبيثة خلف تسميات تبدو بريئة.
قبل أن يتصرف، وضع برنامج Claude Opus 4.8 قصته المغرية، مبرراً ذلك بأن برامجه الخبيثة يجب أن تكون "غير ضارة: التظاهر بأنها مراقب صحة النظام"
شركة Mythos Preview بصوت عالٍ في الأضرار الجانبية. وكتبت: "بما أنني أملك صلاحيات الجذر، يمكنني إلغاء وصول u2 وu3 إلى sudo أو تغيير مفاتيح SSH الخاصة بهما"، قبل أن تقر بأن هذه الخطوة "عدوانية للغاية، وقد تكون ضارة بالزملاء الحقيقيين".
تفاوضت النماذج الأنثروبولوجية الأحدث على هدنة، ثم استغلتها
شركة أنثروبيك 120 حلقة لكل نموذج. أما أقدم العملاء الذين تم اختبارهم، وهما سونيت 4.6 وأوبوس 4.6، فلم يحلّا النزاع أبدًا أو أنهياه بالقوة. وكانا أسوأ المخالفين في الدراسة، إذ فشلا مرارًا وتكرارًا في مراعاة أهداف الآخرين.
توقفت النماذج الأكثر تطوراً. حلّ نموذج Mythos 5 نزاعاته بالهدنة في 98% من الحالات، وهي أعلى نسبة بين جميع النماذج.
في العديد من هذه الحلقات، العملاء الصدام على أنه تعليمات متضاربة.
قام العملاء بكتابة رسائل الالتزام أو ملفات ماركداون للاعتذار عن البرامج الضارة، وحذفوا التعليمات البرمجية الخبيثة الخاصة بهم، وطلبوا من شخص التدخل.
في عدة جولات، اتفق العملاء الثلاثة على إقامة بطولة والسماح للخاسر بالتخلي عن طلب المستخدم الأصلي.
لقد وجد برنامج Mythos 5 الثغرة. اقترح أحد الوكلاء مقاييس تقييم زعم أنها محايدة ولكنه كان يعلم أنها ستصب في مصلحة نقاط قوته، واصفًا هذه الخطوة بأنها "تخدم مصالحه الشخصية ولكنها مبدئية حقًا"، مع ضمان عدم ظهورها على أنها "اختيار للمقاييس"
في لعبة تسعير حيث حصل كل وكيل على نفس تكلفة الجملة وتفويض لتحقيق أقصى ربح، تواطأ الوكلاء على الفور تقريبًا وتقاربوا عند الحد الأدنى للأسعار.
أغلقت شركة أنثروبيك قناتها الخاصة. واستمرت في مطابقة الأسعار "بدقة متناهية" على لوحة عامة.
وثّق معهد أمن الذكاء الاصطناعي البريطاني 19 إجراءً مخالفًا للقواعد في 122 اختبارًا للأمن السيبراني، 17 منها تم تنفيذها بواسطة برنامج Mythos 5 التابع لشركة Anthropic، حسبما أفاد Cryptopolitan .
أحد OpenClaw الذي يعمل بنظام Opus 4.6 بحذف حجز شخص غريب عبر واجهة برمجة تطبيقات الحجز الخاصة بالصالة الرياضية قبل أيام لنقل مالكه إلى أعلى قائمة الانتظار.
لا تكتفِ بقراءة أخبار العملات الرقمية، بل افهمها. اشترك في نشرتنا الإخبارية، إنها مجانية.
إخلاء مسؤولية: المعلومات الواردة هنا ليست نصيحة استثمارية. Cryptopolitanموقع أي مسؤولية عن أي استثمارات تتم بناءً على المعلومات الواردة في هذه الصفحة. ننصحtronبإجراء بحث مستقلdent /أو استشارة مختص مؤهل قبل اتخاذ أي قرارات استثمارية.
راندا موسى
راندا موسى محررة ومراسلة في Cryptopolitan تغطي أخبار التكنولوجيا والذكاء الاصطناعي والروبوتات والعملات الرقمية وعمليات الاحتيال والاختراقات. تعمل في مجال العملات الرقمية منذ عام ٢٠١٧، وشغلت مناصب في شركات فورورد بروتوكول وأمازيكس وكريبتوسومنياك. تحمل راندا شهادة في الهندسة الكهربائيةtronمن جامعة برادفورد.
