أعلنت شركة ميتا أن التنبؤ متعدد الرموز يزيد من سرعة نموذج الذكاء الاصطناعي ثلاثة أضعاف

يقول باحثون في شركة ميتا إن تدريب نماذج اللغة على التنبؤ برموز متعددة في وقت واحد يؤدي إلى كفاءة أفضل في استخدام العينات.

عادة ما يتم تدريب نماذج اللغة الكبيرة مثل Llama و ChatGPT للتنبؤ بالرمز التالي، ولكن مع هذا النهج الجديد، يمكن تحقيق أداء أفضل.

ما هي تقنية التنبؤ برمز واحد؟

تُوفر تقنية التنبؤ متعدد الرموز ميزةً كبيرةً في بعض الحالات، إذ تُحقق سرعةً تفوق سرعة المهام التوليدية بثلاثة أضعاف، إلا أنها لا تزال غير مناسبة لجميع أنواع النماذج. ولا تزال هذه التقنية بحاجة إلى مزيد من التطوير، ويمكن أن تُصبح أداةً فعّالةً في بعض تطبيقات نماذج اللغة.

ولتوضيح الأمر بشكل أفضل، يمكن القول أن العملية التقليدية لتدريب نماذج اللغة المحلية تستخدم نهجًا يسمى "التنبؤ بالرمز التالي"، وبهذه الطريقة، يتنبأ النموذج فقط بالرمز التالي في تسلسل معين.

في عملية مؤتمتة، تتم إضافة الرمز المميز الذي تم التنبؤ به إلى المدخلات، وتتكرر العملية مرارًا وتكرارًا على كامل النص المدخل المقدم بحيث يتعلم النموذج الأنماط الشائعة ويطور القدرة على إنتاج مخرجات تتكون من نص منطقي ومتسق.

هناك بعض العيوب في هذه التقنية، حيث أن معالجة الرمز المميز التالي فقط تجعل النموذج يركز بشكل كبير على الأنماط المحلية في النص ويتجاهل التنبؤات التي لا يمكن إجراؤها إلا من خلال الاستدلال.

تتمثل مشكلة أخرى في هذه التقنية في أنها تتطلب كميات هائلة من مجموعات البيانات لإدخالها في النموذج للوصول إلى التدفق الطبيعي لمخرجات اللغة التي يمكن للبشر القيام بها باستخدام القليل جدًا من النصوص.

تتيح التنبؤات متعددة الرموز سرعة أكبر بثلاث مرات

في النهج الجديد متعدد الرموز الذي اقترحته شركة ميتا، يُطلب من نموذج التعلم الخطي (LLM) التنبؤ برموز متعددة من مواقع مختلفة في الوقت نفسه أثناء عملية التدريب. وقد استخدم الباحثون بنية تنبؤ بسيطة للتنبؤ برموز متعددة لا تتطلب موارد إضافية مثل الوقت ومعالجة الذاكرة.

استخدم الباحثون نفس بنية Transformer المستخدمة بالفعل في معظم نماذج LLM، لكنهم أجروا بعض التغييرات لاستيعاب التنبؤ بالرموز المتعددة عن طريق زيادة رؤوس الإخراج من رأس واحد إلى رؤوس متعددة وتخصيص رأس واحد لكل رمز.

وبهذه الطريقة، يستخدم النموذج نفس استراتيجية التنبؤ الأساسية التالية لاستخلاص النتائج ووضع التوقعات، ولكنه يستطيع تسريع العملية باستخدام رؤوس متعددة. وتقول الدراسة البحثية:

"على الرغم من أن التنبؤ متعدد الرموز مجاني وبسيط، إلا أنه يُعد تعديلًا فعالًا لتدريب نماذجtronبشكل أقوى وأسرع."

المصدر: ميتا.

وجد الباحثون خلال الدراسة أن هذه التقنية أنتجت نتائج دون المستوى المطلوب عند استخدامها على نماذج أصغر، لكن النتائج تحسنت بشكل ملحوظ عند تطبيق نفس العملية على نماذج أكبر، واستمرت النتائج في التحسن مع ازدياد حجم النموذج. كما جاء في الدراسة،

"تزداد فائدة هذه الطريقة مع أحجام النماذج الأكبر، وتحافظ على جاذبيتها عند التدريب لعدة دورات. وتكون المكاسب ملحوظة بشكل خاص في المعايير التوليدية مثل البرمجة، حيث تتفوق نماذجنا باستمرار على النماذج الأساسيةtronبنسب مئوية متعددة."

المصدر: ميتا.

وقال الباحثون أيضاً إن تقنية التنبؤ متعددة الرموز تجعل النموذج أسرع بثلاث مرات في إنتاج نتائج منطقية، وهو أمر مفيد مع ميزة عدم وجود تكلفة إضافية أو تكلفة إضافية ضئيلة للغاية.