باحثو Microsoft يكشفون عن تقنية مبتكرة لمسح المعرفة المحددة من نماذج اللغة الكبيرة

في تقدم ملحوظ في مجال الذكاء الاصطناعي، كشف فريق من الباحثين في Microsoft عن نهج رائد لتعديل معرفات محددة بشكل انتقائي داخل نماذج اللغة الكبيرة (LLMs). تتناول هذه المنهجية الرائدة، المفصلة في ورقة بحثية حديثة على منصة arXiv.org المعروفة، قضية ذات صلة باستخدام المواد المحمية بحقوق الطبع والنشر أثناء تدريب نماذج اللغة الكبيرة. علاوة على ذلك، تقدم حلاً واعداً للسؤال عما إذا كانت هذه النماذج يمكن أن تتكيف دون الحاجة إلى إعادة تدريب مكثفة.

قفزة كبيرة في المرونة

جذبت نماذج اللغة الكبيرة، بما في ذلك ChatGPT من OpenAI، وLlama 2 من Meta، وClaude 2 من Anthropic، اهتماماً و scrutiny كبيرين بسبب قدرتها الاستثنائية على توليد محتوى نصي بناءً على مجموعات البيانات الواسعة التي تم تدريبها عليها، والتي قد تشمل مواد محمية بحقوق الطبع والنشر. كان تحيز تخصيص هذه النماذج للنسيان أو نسيان معلومات محددة مصدر قلق منذ فترة طويلة.

مسح فعال في ساعة واحدة من وحدة معالجة الرسومات

قدم الباحثون في Microsoft، وهما رونين إلدان ومارك روسينوفيتش، حلاً أنيقاً لهذه التحدي. تقدم ورقتهم تقنية ثلاثية الأبعاد مصممة لمحاكاة عملية نسيان معلومات محددة داخل نماذج اللغة الكبيرة. الجانب الأكثر إثارة للإعجاب في نهجهم هو كفاءته. بشكل ملحوظ، يظهرون القدرة على مسح جميع المعرفة المتعلقة بكتب هاري بوتر، بما في ذلك الشخصيات وتفاصيل الحبكة، بساعة واحدة فقط من ضبط الدقة باستخدام وحدة معالجة الرسومات (GPU). يحمل هذا المستوى العالي من الكفاءة وعداً كبيراً لتطوير نماذج لغوية أكثر مرونة واستجابة.

تفكيك التقنية المكونة من ثلاثة أجزاء

تُعد تقنية Eldan وRussinovich انحرافاً ملحوظاً عن النهج التقليدي لتعلم الآلة، الذي يركز بشكل أساسي على تراكم المعرفة دون توفير آليات مباشرة للنسيان. يتكون نهجهم المبتكر من ثلاث خطوات أساسية:

1. تحديد الرموز ذات الصلة: في المرحلة الأولية، يتم تدريب النموذج باستخدام البيانات المستهدفة - في هذه الحالة، كتب هاري بوتر. يحدد النموذج الرموز الأكثر ارتباطاً بالبيانات المستهدفة من خلال مقارنة تنبؤاته بتلك التي يولدها نموذج أساسي. هذه الخطوة الأولية هي الأساس لتحديد المعرفة التي سيتم مسحها.

2. استبدال التعبيرات الفريدة: تتضمن الخطوة الثانية استبدال التعبيرات الفريدة الخاصة بسلسلة هاري بوتر بنظيراتها العامة. من خلال القيام بذلك، يقوم الباحثون بتوليد تنبؤات بديلة تعكس بشكل فعال مخرجات نموذج خالٍ من بيانات التدريب المحددة. هذا الاستبدال عنصر محوري في عملية مسح المعرفة.

3. ضبط الدقة والمسح: تدور الخطوة الأخيرة حول ضبط الدقة للنموذج الأساسي باستخدام التنبؤات البديلة. يقوم هذا العملية لضبط الدقة بمسح النص الأصلي من ذاكرة النموذج عند توفير سياق يتعلق بسلسلة هاري بوتر. تتيح هذه الخطوة الحرجة للنموذج "نسيان" السرود المعقدة لكتب هاري بوتر.

تقييم النجاح

أجرى Eldan وRussinovich سلسلة شاملة من الاختبارات لقياس فعالية منهجيتهم. فحصوا كفاءة النموذج في توليد أو مناقشة المحتوى المتعلق بسلسلة هاري بوتر باستخدام 300 مطالبة تم إنشاؤها تلقائياً وحللوا بدقة احتمالات الرموز. والأهم من ذلك، تشير نتائجهم إلى أنه بعد ساعة واحدة فقط من ضبط الدقة، كان النموذج يمكنه نظرياً "نسيان" السرود المفصلة لسلسلة هاري بوتر. وبشكل ملحوظ، كان لهذا المسح آثار ضئيلة على أداء النموذج في تقييمات المعايير القياسية مثل ARC وBoolQ وWinogrande.

الآثار والأبحاث المستقبلية

بينما تظهر هذه التقنية الرائدة وعداً كبيراً، من الضروري التأكيد على أن المزيد من البحث لا غنى عنه لتحسين وتوسيع المنهجية، لا سيما فيما يتعلق بمهام النسيان الأوسع نطاقاً داخل نماذج اللغة الكبيرة. وتجدر الإشارة إلى أن هذا النهج قد يكون فعالاً بشكل خاص للنصوص الخيالية، مثل سلسلة هاري بوتر، نظراً لوجود مراجعات فريدة.

مع استمرار الأنظمة المدعومة بالذكاء الاصطناعي في لعب دور محوري بشكل متزايد عبر مجالات متنوعة، تكتسب القدرة على النسيان الانتقائي أو نسيان معلومات محددة أهمية قصوى. تمثل هذه المنهجية خطوة أساسية نحو تطوير نماذج لغة كبيرة أكثر مسؤولية ومرونة ومتوافقة قانونياً. إنها تحمل القدرة على معالجة المبادئ التوجيهية الأخلاقية والقيم المجتمعية والمتطلبات المحددة للمستخدمين مع استمرار تطور مجال الذكاء الاصطناعي.