التنبؤ بالرموز المتعددة يزيد سرعة نموذج الذكاء الاصطناعي ثلاث مرات، وفقاً لمايكروسوفت
- تُظهر دراسة بحثية أجراها باحثو ميتا أن توقعات الرموز المتعددة يمكنها زيادة أداء نماذج اللغة الكبيرة.
- تتضمن التقنية استخدام رؤوس مخرجات متعددة لإجراء التنبؤات في وقت واحد.
- لا تتطلب أي تكلفة إضافية في الذاكرة أو الوقت، حيث تستخدم العملية نفس بنية الاستدلال الأساسية.
التدريب على نماذج اللغة للتنبؤ بعدة رموز في وقت واحد يؤدي إلى كفاءة أفضل في استخدام العينات، وفقاً للباحثين في فيسبوك (Meta).
عادةً ما يتم تدريب نماذج اللغة الكبيرة مثل Llama وChatGPT للتنبؤ بالرمز التالي، ولكن مع هذا النهج الجديد، يمكن تحقيق أداء أفضل.
ما هي تقنية التنبؤ بالرمز الواحد؟
توفر تقنية التنبؤ بالرموز المتعددة ميزة كبيرة في بعض السيناريوهات بسرعة تعادل ثلاثة أضعاف سرعة المهام التوليدية، لكنها لا تزال ليست حلاً واحداً يناسب جميع أنواع النماذج. توجد مساحة كبيرة للتحسين في هذه التقنية، ويمكن أن تصبح أداة قوية لتطبيقات نماذج اللغة الكبيرة.
لفهم الأمر بشكل أوضح، يمكن القول إن العملية التقليدية لتدريب نماذج اللغة الكبيرة تستخدم نهجاً يُسمى "التنبؤ بالرمز التالي"، وبهذه الطريقة، يتنبأ النموذج بالرمز المستقبلي التالي الوحيد في تسلسل معين.
في عملية آلية، يتم إضافة الرمز الذي تم التنبؤ به إلى المدخلات، وتكرار العملية مراراً وتكراراً عبر كامل نص الإدخال المقدم، بحيث يتعلم النموذج الأنماط الشائعة ويطور القدرة على إنتاج مخرجات تتكون من نص منطقي ومتسق.
هناك بعض العيوب في هذه التقنية، فبمعالجة الرمز التالي فقط، يصبح النموذج مركزاً جداً على الأنماط المحلية في النص ويتجاهل التنبؤات التي لا يمكن إجراؤها إلا باستخدام الاستدلال.
مشكلة أخرى مع هذه التقنية هي أنها تتطلب كميات هائلة من مجموعات البيانات لتغذية النموذج للوصول إلى التدفق الطبيعي لإخراج اللغة الذي يمكن للبشر القيام به بنص قليل جداً.
التنبؤ بالرموز المتعددة يمكّن 3X سرعة
في نهج الرموز المتعددة الجديد المقترح من Meta، يتم توجيه نموذج اللغة الكبير (LLM) للتنبؤ بعدة رموز من مواقع مختلفة في نفس الوقت أثناء عملية التدريب. استخدم الباحثون بنية تنبؤ بسيطة للتنبؤ بالرموز المتعددة لا تتطلب موارد إضافية مثل وقت المعالجة والذاكرة.
استخدم الباحثون نفس بنية المحولات (Transformer) التي تستخدمها معظم نماذج اللغة الكبيرة، لكنهم أجروا بعض التغييرات لتسهيل التنبؤ بعدة رموز من خلال زيادة رؤوس الإخراج من واحدة إلى متعددة وتخصيص واحدة لكل رمز.
وبهذه الطريقة، لاستخلاص الاستنتاجات وإجراء التنبؤات، يستخدم النموذج استراتيجية التنبؤ بالخطوة التالية الأساسية نفسها، ولكن من خلال استخدام رؤوس متعددة، يمكنه تسريع العملية. تقول دراسة البحث،
"بينما تكون التكلفة مجانية وبسيطة، فإن التنبؤ المتعدد الرموز يعد تعديلاً فعالاً لتدريب نماذج محولات أقوى وأسرع."
المصدر: فيسبوك (Meta).
وجد الباحثون أثناء الدراسة أن التقنية أنتجت نتائج دون المتوسط عندما استخدموها على النماذج الأصغر، لكن النتائج أصبحت أفضل من المتوسط عندما طبقوا نفس العملية على النماذج الأكبر، واستمرت النتائج في التحسن مع حجم النموذج. وكما يكتب البحث،
"تزداد فائدة الطريقة مع أحجام النماذج الأكبر، وتحافظ على جاذبيتها عند التدريب لعدة فترات. تكون المكاسب بارزة بشكل خاص في المعايير التوليدية مثل البرمجة، حيث تتفوق نماذجنا باستمرار على الأساسيات القوية بعدة نقاط مئوية."
المصدر: ميتا.
قال الباحثون أيضاً أن تقنية التنبؤ المتعدد الرموز تجعل النموذج أسرع بثلاث مرات في إنتاج النتائج المنطقية، وهو أمر مفيد مع فائدة عدم وجود تكلفة إضافية أو وجود تكلفة ضئيلة جداً.
لا تكتفِ بقراءة أخبار العملات الرقمية فحسب، بل افهمها. اشترك في نشرتنا الإخبارية. مجانية.
إخلاء مسؤولية. المعلومات المقدمة ليست نصيحة تداول. Cryptopolitan.com لا تتحمل أي مسؤولية عن أي استثمارات تتم بناءً على المعلومات المقدمة في هذه الصفحة. نوصي بشدة بإجراء بحث مستقل و/أو الاستعانة بمستشار مؤهل قبل اتخاذ أي قرارات استثمارية.
عامر شيخ
عامر صحفي تقني يتمتع بخبرة تزيد عن ست سنوات في مجالي العملات المشفرة والتقنية. تخرج من جامعة ماج بشهادة ماجستير في إدارة الأعمال بتخصص التمويل والتسويق. يعمل حاليًا مع موقع كربتوبوليتان، حيث يتناول أحدث التطورات في أسواق العملات المشفرة وتوقعات الأسعار.
