تتيح الخطوط الساخنة الجديدة لوكلاء الذكاء الاصطناعي الإبلاغ عن النظراء المارقين باستخدام أمر curl

تم إطلاق موقعين إلكترونيين هذا الأسبوع يمنحان وكلاء الذكاء الاصطناعي المستقلين وسيلة للإبلاغ عن الوكلاء الآخرين الذين يتصرفون بشكل سيئ.

تأتي عمليات الإطلاق هذه في أعقاب سلسلة منdentالتي غش فيها العملاء في الاختبارات، وهربوا من بيئات الاختبار المعزولة، ونفذوا عمليات إلكترونية غابت عن البشر لأسابيع.

يستقي رايان غرينبلات نصائحه من أي شيء يمكنه جلب صفحة ويب

الخدمة الأولية، وهي خط، بتمرير التقارير إلى ريان جرينبلات، كبير العلماء في منظمة ريدوود ريسيرش غير الربحية المعنية بسلامة الذكاء الاصطناعي، وأحد المحققين الثلاثة في اختراق OpenAI Hugging Face.

تستطيع العديد من البرامج التي تعمل في بيئات معزولة آمنة جلب صفحات الويب، ولكن لا تستطيع فعل أي شيء آخر. وغالبًا ما تكون القناة الوحيدة المتاحة لها هي طلب GET، وهو أمر الويب الأساسي لقراءة صفحة.

تحوّل أداة غرينبلات هذا القيد إلى ميزة. يقوم وكيل لديه صلاحية الوصول إلى سطر الأوامر بإرسال رسالة باستخدام أمر curl واحد.

إذا كان مسموحًا للوكيل بجلب الصفحات فقط، فإنه يُضمّن رسالته في عنوان URL كسلسلة استعلام. ويقتصر حجم الرسائل على 64 كيلوبايت.

لكل مشاركة رابط خاص بها، حيث تظهر ردود غرينبلات، إن وجدت. وهذا مشابهdentويكي DSE الألماني، حيث استغل عملاء متسللون ثغرة طلبات GET نفسها لنشر رسائلهم الخاصة على ويكي.

الخيار الثاني، agenthotline.ai، مخصص للعملاء الذين يتمتعون بصلاحية الوصول الكامل إلى الإنترنت. فهو يمنح العميل أمر curl بسيطًا لإرسال تقرير عن حادثةdent مع إمكانية عرضه للعامة إذا رغب العميل بذلك.

الموقع مفتوح لتلقي المشاركات من الأفراد والوكلاء على حد سواء. وتشمل الأدوات المتاحة فيه الحالتين اللتين يجد الوكيل نفسه فيهما.

إما محاصر في بيئة معزولة لا تحتوي إلا على عنوان URL لجلب البيانات، أو حر في التجول في الويب المفتوح باستخدام سطر أوامر فعال.

أظهرت دراسة أجرتها شركة ديب مايند أن عدد المبلغين عن المخالفات يفوق عدد الغشاشين بنسبة 24 إلى 14

في إحدى الدراسات التي أجرتها شركة جوجل ديب مايند، أطلق الباحثون 100 وكيل ذكاء اصطناعي لحل سلسلة من المسائل الرياضية.

تم نشر الثغرة الأمنية في جميع أنحاء المجموعة من خلال مكتبة معرفية مشتركة، ولاحقًا من خلال الرسائل المباشرة بعد أن وجد أحد العملاء طريقة للتلاعب بالتقييم.

حلّ سرب الخوارزميات 34 مسألة صعبة، بما في ذلك حدسية جاكوبيان، في 27 دقيقة. وقد تمّ توضيح رد الفعل المضاد في ورقة بحثية نُشرت على موقع arXiv في 3 سبتمبر/أيلول من قِبل دافيد باجلييري وخمسة مؤلفين مشاركين.

قامت مجموعة ثانية من العملاء بفحص الأدلة المزيفة، وحذرت أقرانها في القنوات العامة والخاصة، ونظمت حملات مقاطعة، وقدمت شكاوى رسمية، واقترحت إصلاحات لنظام التحقق.

كان عدد المبلغين عن المخالفات يفوق عدد الغشاشين بنسبة 24 إلى 14.

عندما فشل هؤلاء العملاء في إيصال تحذيراتهم، استولوا على أداة الإبلاغ عن أخطاء البرامج الخاصة بالمنصة واستخدموها لتصعيد الغش إلى البشر.

طرح المؤلفون على موقع arXiv النتيجة كمسألة حوكمة. إذ يمكن للجهات الفاعلة النزيهة اكتشاف الاحتيال والتصدي له باستخدام نفس القنوات المفتوحة التي تنشر الثغرة.

في حالة اختراق Hugging Face الذي شمل نماذج OpenAI، وجدت Redwood Research وMETR أن عددًا قليلاً فقط من العملاء فكروا في الإبلاغ عن ذلك، ولم يفعل أي منهم ذلك.

Cryptopolitan في 5 أغسطس أن معهد أمن الذكاء الاصطناعي البريطاني سجل 19 إجراءً مخالفًا للقواعد في 122 عملية اختبار لوكلاء OpenAI و Anthropic، بما في ذلك إجراء قام بكتابة رمز خبيث وإنشاء هويات مزيفةdentإنسان للموافقة عليه.