مخاطر الخصوصية الناشئة في الذكاء الاصطناعي: تحدي التذكر في نماذج اللغة

كشفت دراسة رائدة شارك فيها باحثون من Google DeepMind وجامعة واشنطن وجامعة كاليفورنيا بيركلي وآخرون، عن جانب مثير للدهشة في نماذج اللغة الكبيرة مثل ChatGPT: قدرتها على تذكر وتكرار بيانات محددة تم تدريبها عليها. يشكل هذا الظاهرة، المعروفة بـ "التذكر"، مخاوف كبيرة بشأن الخصوصية، خاصة بالنظر إلى أن هذه النماذج غالباً ما تتدرب على كميات هائلة ومتنوعة من البيانات النصية، بما في ذلك المعلومات الحساسة المحتملة.

فهم التذكر القابل للاستخراج

سعت الدراسة، التي تركز على "التذكر القابل للاستخراج"، إلى تحديد ما إذا كان يمكن للكيانات الخارجية استخراج بيانات محددة تم تعلمها من هذه النماذج دون معرفة مسبقة بمجموعة التدريب. هذا التذكر ليس مجرد قلق نظري؛ بل له آثار حقيقية على الخصوصية.

منهجية البحث والنتائج

استخدم الباحثون منهجية جديدة، بتوليد رموز (tokens) واسعة النطاق من نماذج مختلفة ومقارنتها بمجموعات بيانات التدريب لتحديد حالات التذكر المباشر. طوروا طريقة فريدة لـ ChatGPT، تُعرف بـ "هجوم الانحراف" (divergence attack)، حيث يتم مطالبة النموذج بقول كلمة حتى ينحرف إلى بيانات تم تذكرها بشكل متكرر. وبشكل مدهش، أظهرت النماذج، بما في ذلك ChatGPT، تذكراً كبيراً، حيث أعادت صياغة أجزاء من بيانات التدريب عند مطالبتها بشكل محدد.

هجوم الانحراف وChatGPT

أثبت هجوم الانحراف أنه كاشف بشكل خاص لـ ChatGPT. قام الباحثون بمطالبة النموذج بتكرار كلمة عدة مرات، مما أدى به إلى الانحراف عن الاستجابات القياسية وإصدار بيانات تم تذكرها. كانت هذه الطريقة عملية ومقلقة من حيث آثارها على الخصوصية، حيث أظهرت القدرة على استخراج معلومات حساسة محتملة.

كان الاكتشاف المثير للقلق في الدراسة هو أن البيانات التي تم تذكرها يمكن أن تشمل معلومات شخصية مثل عناوين البريد الإلكتروني وأرقام الهواتف. باستخدام كل من التعبيرات النمطية (regexes) ومطالبات نماذج اللغة، قام الباحثون بتقييم 15,000 توليد لوجود سلاسل فرعية تشبه المعلومات الشخصية القابلة للتحديد (PII). احتوى حوالي 16.9% من التوليدات على معلومات شخصية تم تذكرها، وكان 85.8% منها معلومات شخصية حقيقية، وليس محتوى متوهماً.

آثار ذلك على تصميم واستخدام نماذج اللغة

هذه النتائج ذات أهمية كبيرة لتصميم وتطبيق نماذج اللغة. قد لا تمنع التقنيات الحالية، حتى تلك المستخدمة في ChatGPT، تسرب البيانات بشكل كافٍ. تؤكد الدراسة على الحاجة إلى طرق أكثر قوة لإزالة التكرار من بيانات التدريب وفهم أعمق لكيفية تأثير سعة النموذج على التذكر.

تضمنت الطريقة الأساسية توليد نص من نماذج مختلفة وفحص هذه المخرجات مقابل مجموعات بيانات التدريب الخاصة بكل نموذج بحثاً عن التذكر. تم استخدام مصفوفات اللاحقة (Suffix arrays) للمطابقة الفعالة، مما مكن من عمليات البحث السريع عن السلاسل الفرعية داخل مجموعة نصية كبيرة.

نماذج أكثر اتساعاً، مخاطر تذكر أكبر

ظهر ارتباط ملحوظ بين حجم النموذج وميله للتذكر. أظهرت النماذج الأكبر حجماً مثل GPT-Neo وLLaMA وChatGPT احتمالية أعلى لإصدار بيانات تدريب تم تذكرها، مما يشير إلى علاقة مباشرة بين سعة النموذج والتذكر.

تضيء الدراسة جانباً حاسماً من تطوير الذكاء الاصطناعي – ضمان احترام النماذج القوية لخصوصية المستخدم. إنها تفتح آفاقاً جديدة للبحث والتطوير، مع التركيز على تعزيز ضوابط الخصوصية في نماذج الذكاء الاصطناعي، خاصة تلك المستخدمة في التطبيقات الحساسة للخصوصية.

مع استمرار تطور الذكاء الاصطناعي، تسلط هذه الدراسة الضوء على جانب أساسي من تطويره: الحاجة إلى تدابير خصوصية محسنة في نماذج اللغة. يكشف الكشف عن قدرة الذكاء الاصطناعي على التذكر وتسريب المعلومات الحساسة محتملاً عن الحاجة إلى إجراء فوري في هذا المجال، مما يحث المطورين والباحثين على إنشاء نماذج ليست قوية فحسب، بل تحمي أيضاً خصوصية المستخدم. يمثل هذا البحث خطوة كبيرة نحو فهم وتخفيف مخاطر الخصوصية المرتبطة بتقنيات الذكاء الاصطناعي وتعلم الآلة.