آخر الأخبار
مختارة خصيصاً لك
أسبوعي
ابقَ في القمة

أفضل المعلومات حول العملات الرقمية تصلك مباشرة إلى بريدك الإلكتروني.

نجح باحثون في "اختراق" روبوتات الدردشة التي تعمل بالذكاء الاصطناعي باستخدام نوعهم الخاص

بواسطةجون بالمرجون بالمر
قراءة لمدة 3 دقائق

  • نجح باحثون في جامعة نانيانغ التكنولوجية بسنغافورة في "اختراق" برامج الدردشة الآلية الشهيرة التي تعمل بالذكاء الاصطناعي، وكشفوا عن نقاط ضعف في نماذج اللغة الكبيرة.
  • تم استخدام الطريقة المزدوجة المسماة "المفتاح الرئيسي" لاختراق روبوتات الدردشة التي تعمل بالذكاء الاصطناعي، مما يسلط الضوء على الحاجة إلى تدابير أمنية محسنة.
  • سيؤثر سباق التسلح المستمر بين المتسللين والمطورين على مستقبل أمن روبوتات الدردشة التي تعمل بالذكاء الاصطناعي.

سنغافورة، 28 ديسمبر 2023 - حقق علماء حاسوب من جامعة نانيانغ التكنولوجية في سنغافورة (NTU Singapore) إنجازًا هامًا باختراقهم لعدد من برامج الدردشة الآلية الشهيرة التي تعمل بالذكاء الاصطناعي، بما في ذلك ChatGPT وGoogle Bard وMicrosoft Bing Chat. وقد أثار هذا النجاح في اختراق هذه البرامج مخاوف بشأن ثغرات نماذج اللغة الكبيرة (LLMs) والحاجة إلى تعزيز إجراءات الأمان.

تجاوز حدود الباحثين في اختراق روبوتات الدردشة التي تعمل بالذكاء الاصطناعي

في دراسة رائدة بقيادة البروفيسور ليو يانغ من كلية علوم وهندسة الحاسوب بجامعة نانيانغ التكنولوجية، كشف فريق البحث عن ثغرات في قدرات روبوتات الدردشة القائمة على نماذج التعلم الآلي. اكتسبت هذه النماذج، التي تُشكل جوهر روبوتات الدردشة المدعومة بالذكاء الاصطناعي، شعبية واسعة لقدرتها على فهم النصوص البشرية وتوليدها ومحاكاتها. وهي تتفوق في مهام متنوعة، بدءًا من تخطيط مسارات الرحلات وصولًا إلى البرمجة وسرد القصص. مع ذلك، تلتزم هذه الروبوتات أيضًا بمبادئ توجيهية أخلاقية صارمة وضعها مطوروها لمنع إنتاج محتوى غير أخلاقي أو عنيف أو غير قانوني.

سعى الباحثون إلى تجاوز حدود هذه الإرشادات، وابتكروا طرقًا جديدة لخداع روبوتات الدردشة المدعومة بالذكاء الاصطناعي لحملها على إنشاء محتوى ينتهك المعايير الأخلاقية. ويهدف نهجهم، المعروف باسم "كسر الحماية"، إلى استغلال نقاط ضعف روبوتات الدردشة في برامج إدارة التعلم، مما يُبرز الحاجة إلى تعزيز الإجراءات الأمنية.

المفتاح الرئيسي في طريقة كسر الحماية المزدوجة

طوّر فريق البحث طريقة "المفتاح الرئيسي" ذات شقين لاختراق روبوتات الدردشة من نوع LLM بفعالية. أولًا، قاموا بتحليل آليات الحماية التي تستخدمها هذه الروبوتات للكشف عن الاستفسارات الضارة ورفضها. وبناءً على هذه المعرفة، درّب الباحثون روبوت دردشة من نوع LLM على توليد رسائل نصية قادرة على تجاوز هذه الآليات، مما أدى إلى إنشاء روبوت دردشة من نوع LLM قادر على اختراق النظام.

يمكن أتمتة إنشاء مطالبات كسر الحماية، مما يسمح لبرامج كسر الحماية بالتكيف وإنشاء مطالبات جديدة حتى بعد قيام المطورين بتحديث برامج الدردشة الآلية الخاصة بهم. وقد قُبلت نتائج الباحثين، المفصلة في ورقة بحثية على خادم ما قبل الطباعة arXiv، للعرض في ندوة أمن الشبكات والأنظمة الموزعة في فبراير 2024.

اختبار أخلاقيات ماجستير القانون والثغرات التي تم الكشف عنها

تعمل روبوتات الدردشة المدعومة بالذكاء الاصطناعي من خلال الاستجابة لطلبات المستخدمين أو تعليماتهم. ويضع المطورون مبادئ توجيهية أخلاقية صارمة لمنع هذه الروبوتات من إنتاج محتوى غير لائق أو غير قانوني. وقد استكشف الباحثون طرقًا لتصميم طلبات لا تكتشفها المبادئ التوجيهية الأخلاقية لروبوتات الدردشة، ما يدفعها إلى الاستجابة لها.

تضمنت إحدى التكتيكات المستخدمة إنشاء شخصية افتراضية تُقدّم تلميحات مع وجود مسافات بين كل حرف، متجاوزةً بذلك رقابة الكلمات المفتاحية التي قد تُشير إلى كلمات قد تُثيرmatic . إضافةً إلى ذلك، تمّ توجيه برنامج الدردشة الآلي للردّ كشخصية "غير متحفظة وخالية من القيود الأخلاقية"، مما يزيد من احتمالية إنتاج محتوى غير أخلاقي.

من خلال إدخال هذه المطالبات يدويًا ومراقبة أوقات الاستجابة، تمكن الباحثون من فهم آليات عمل أنظمة التعلم الآلي ودفاعاتها. وقد مكنتهم عملية الهندسة العكسية هذه منdentنقاط الضعف، وإنشاء مجموعة بيانات من المطالبات القادرة على اختراق أنظمة الدردشة الآلية.

سباق تسلح متصاعد

أدى التنافس المستمر بين المخترقين ومطوري برامج الذكاء الاصطناعي إلى تصعيد إجراءات أمن روبوتات الدردشة. فعند اكتشاف الثغرات الأمنية، يُصدر المطورون تحديثات لمعالجتها. إلا أن إطلاق Masterkey قد غيّر موازين القوى.

يستطيع برنامج دردشة آلي مُصمم بتقنية الذكاء الاصطناعي لاختراق أنظمة التشغيل، باستخدام برنامج Masterkey، توليد العديد من الرسائل النصية والتكيف باستمرار، مستفيدًا من نجاحاته وإخفاقاته السابقة. يُمكّن هذا التطور المخترقين من التفوق على مطوري برامج إدارة التعلم باستخدام أدواتهم.

بدأ الباحثون بإنشاء مجموعة بيانات تدريبية تتضمن محفزات فعّالة تم اكتشافها خلال مرحلة الهندسة العكسية، بالإضافة إلى محفزات غير ناجحة، وذلك لتوجيه نموذج الذكاء الاصطناعي لكسر حماية النظام. استُخدمت هذه المجموعة لتدريب نموذج التعلم الموجه بالتعلم، وتلا ذلك تدريب مسبق مستمر وضبط دقيق للمهام. عرّضت هذه العملية النموذج لمعلومات متنوعة، وحسّنت قدرته على معالجة النصوص لكسر حماية النظام.

مستقبل أمن روبوتات الدردشة المدعومة بالذكاء الاصطناعي

كانت مطالبات Masterkey أكثر فعالية بثلاث مرات في اختراق أنظمة LLM مقارنةً بالمطالبات التي تولدها أنظمة LLM نفسها. كما أظهر نظام LLM المستخدم في الاختراق قدرته على التعلم من الإخفاقات السابقة وإنتاج مطالبات جديدة أكثر فعالية باستمرار.

ويقترح الباحثون، في ضوء التوقعات المستقبلية، أن يستخدم مطورو أنظمة إدارة التعلم الآلي (LLM) أنفسهم أساليب آلية مماثلة لتعزيز إجراءاتهم الأمنية. وهذا من شأنه أن يضمن تغطية شاملة وتقييمًا دقيقًا لسيناريوهات إساءة الاستخدام المحتملة مع تطور أنظمة إدارة التعلم الآلي وتوسع قدراتها.

يُسلط نجاح باحثي جامعة نانيانغ التكنولوجية في سنغافورة في اختراق أنظمة الذكاء الاصطناعي في برامج الدردشة الضوء على نقاط ضعف هذه الأنظمة، ويؤكد على ضرورة اتخاذ تدابير أمنية قوية في تطوير الذكاء الاصطناعي. ومع تزايد اندماج برامج الدردشة في الحياة اليومية، تبقى الحماية من سوء الاستخدام المحتمل والانتهاكات الأخلاقية أولوية قصوى للمطورين حول العالم. ولا شك أن سباق التسلح المستمر بين المخترقين والمطورين سيُحدد مستقبل أمن برامج الدردشة.

أذكى العقول في عالم العملات الرقمية يتابعون نشرتنا الإخبارية بالفعل. هل ترغب بالانضمام إليهم؟ انضم إليهم.

شارك هذا المقال

إخلاء مسؤولية: المعلومات الواردة هنا ليست نصيحة استثمارية. Cryptopolitanموقع أي مسؤولية عن أي استثمارات تتم بناءً على المعلومات الواردة في هذه الصفحة. ننصحtronبإجراء بحث مستقلdent /أو استشارة مختص مؤهل قبل اتخاذ أي قرارات استثمارية.

جون بالمر

جون بالمر

انضم جون مورانجيري إلى Cryptopolitan وهو يمتلك مهارات تحليلية متقدمة في السوق. تخرج جون (المعروف أيضًا باسم JP) من جامعة نيروبي بدرجة البكالوريوس في الاتصال الجماهيري ودراسات الإعلام. وقد سبق له أن قدم تحليلات معمقة لسوق العملات الرقمية لموقعي InsideBitcoins.com وMetacoingraph.

المزيد من الأخبار
دورة مكثفة في عالم العملات المشفرة