في تطورٍ ملحوظ في مجال الذكاء الاصطناعي، كشف فريقٌ من الباحثين في مايكروسوفت عن منهجيةٍ رائدة لتعديل معارف محددة بشكلٍ انتقائي ضمن نماذج اللغة الكبيرة. تتناول هذه المنهجية المبتكرة، التي نُشرت تفاصيلها في ورقة بحثية حديثة على منصة arXiv.org الشهيرة، قضيةً هامة تتعلق باستخدام المواد المحمية بحقوق الطبع والنشر أثناء تدريب نماذج اللغة الكبيرة. علاوةً على ذلك، فهي تُقدم حلاً واعداً لمسألة قدرة هذه النماذج على التكيف دون الحاجة إلى إعادة تدريب مكثفة.
قفزة كبيرة في القدرة على التكيف
حظيت نماذج اللغة الكبيرة، مثل ChatGPT من OpenAI وLlama 2 من Meta وClaude 2 من Anthropic، باهتمام ودراسةtracنظرًا لقدرتها الاستثنائية على توليد محتوى نصي استنادًا إلى مجموعات البيانات الضخمة التي تُدرَّب عليها، والتي قد تتضمن مواد محمية بحقوق الطبع والنشر. لطالما شكّل تحدي تخصيص هذه النماذج لمحو معلومات محددة أو نسيانها مصدر قلق.
مسح فعال في ساعة واحدة باستخدام وحدة معالجة الرسومات
الباحثان في مايكروسوفت ، رونين إلدان ومارك روسينوفيتش، حلاً مبتكراً لهذا التحدي. تُقدّم ورقتهم البحثية تقنية ثلاثية الأبعاد مصممة لمحاكاة عملية محو معلومات محددة من نماذج اللغة. أبرز ما يُميّز هذا النهج هو كفاءته العالية. فقد أظهرا قدرةً على محو جميع المعلومات المتعلقة بسلسلة هاري بوتر، بما في ذلك الشخصيات وتفاصيل الحبكة، في غضون ساعة واحدة فقط من ضبط وحدة معالجة الرسومات. يُبشّر هذا المستوى العالي من الكفاءة بتطوير نماذج لغوية أكثر مرونة واستجابة.
تفكيك التقنية المكونة من ثلاثة أجزاء
تمثل تقنية إلدان وروسينوفيتش تحولاً ملحوظاً عن النهج التقليدي للتعلم الآلي، الذي يركز بشكل أساسي على تراكم المعرفة دون توفير آليات واضحة للتخلص من التعلم. ويتألف نهجهما المبتكر من ثلاث خطوات أساسية:
1.dentالرموز ذات الصلة: في المرحلة الأولية، يتم تدريب النموذج باستخدام البيانات المستهدفة، وهي في هذه الحالة كتب هاري بوتر.dentالنموذج الرموز الأكثر ارتباطًا بالبيانات المستهدفة من خلال مقارنة تنبؤاته بتلك التي يولدها نموذج أساسي. تُعد هذه الخطوة الأولية أساسًا لتحديد المعلومات المراد حذفها.
٢. استبدال التعبيرات الفريدة: تتضمن الخطوة الثانية استبدال التعبيرات الفريدة الخاصة بسلسلة هاري بوتر بتعبيرات عامة مماثلة. وبذلك، يُنتج الباحثون تنبؤات بديلة تُحاكي فعليًا مخرجات نموذج خالٍ من بيانات التدريب الخاصة بالسلسلة. ويُعد هذا الاستبدال عنصرًا محوريًا في عملية محو المعرفة.
3. الضبط الدقيق والمحو: تتمحور الخطوة الأخيرة حول ضبط النموذج الأساسي بدقة باستخدام التنبؤات البديلة. تمحو عملية الضبط الدقيق هذه النص الأصلي من ذاكرة النموذج عند تزويده بسياق متعلق بسلسلة هاري بوتر. تُمكّن هذه الخطوة الحاسمة النموذج من "نسيان" السرديات المعقدة لكتب هاري بوتر.
تقييم النجاح
أجرى إلدان وروسينوفيتش سلسلة شاملة من الاختبارات لتقييم فعالية منهجيتهما. فحصا كفاءة النموذج في توليد أو مناقشة محتوى متعلق بسلسلة هاري بوتر باستخدام 300 مُحفزmaticتلقائيًا، وحللا احتمالات الرموز بدقة. والأهم من ذلك، تشير نتائجهم إلى أنه بعد ساعة واحدة فقط من الضبط الدقيق، استطاع النموذج "نسيان" السرد التفصيلي لسلسلة هاري بوتر. والجدير بالذكر أن هذا النسيان لم يكن له تأثير يُذكر على أداء النموذج في التقييمات المعيارية مثل ARC وBoolQ وWinogrande.
الآثار والبحوث المستقبلية
رغم أن هذه التقنية الرائدة تبشر بنتائج واعدة، إلا أنه من الضروري التأكيد على أن إجراء المزيد من البحوث أمر لا غنى عنه لتحسين المنهجية وتوسيع نطاقها، لا سيما فيما يتعلق بمهام إعادة التعلم الأوسع نطاقًا ضمن نماذج لغوية كبيرة. ومن الجدير بالذكر أن هذا النهج قد يكون فعالًا بشكل خاص مع النصوص الخيالية، مثل سلسلة هاري بوتر، نظرًا لوجود مراجع فريدة فيها.
مع استمرار أنظمة الذكاء الاصطناعي في لعب دور محوري متزايد في مختلف المجالات، تكتسب القدرة على نسيان معلومات محددة أو التخلص من آثارها أهمية قصوى. تمثل هذه المنهجية خطوة أساسية نحو تطوير أنظمة إدارة التعلم أكثر مسؤولية ومرونة والتزامًا بالقانون. كما أنها تحمل في طياتها إمكانية تلبية المبادئ التوجيهية الأخلاقية والقيم المجتمعية والمتطلبات الخاصة للمستخدمين مع استمرار تطور مجال الذكاء الاصطناعي.
