- أنشأ باحثون من جوجل ديب مايند وجامعة تولوز تعديلات ذكية لنماذج الترانسفورمر، مما يتيح لها النمو والحفاظ على قوتها، وحل مشاكل التدريب المكلفة.
- قاموا بتطوير 6 طرق لتوسيع النماذج دون الإضرار بها، مثل إضافة رؤوس الانتباه، وتكبير الطبقات، وتعزيز مهارات الانتباه.
- تظل هذه التعديلات النماذج تعمل بكفاءة أثناء نموها، مما يجعل الذكاء الاصطناعي المستقبلي أكثر قدرة وأسهل في التطوير.
تقدم أبحاث متطورة من Google DeepMind وجامعة تولوز حلولاً مبتكرة لتعزيز قدرات الشبكات العصبية القائمة على المحولات. في ورقة رائدة بعنوان "توسعات تحافظ على الوظائف القابلة للتكوين لهندسات المحولات"، تقدم التعاون مجموعة من تحويلات توسيع المعلمات التي تمكّن من تعزيز قدرات النموذج مع الحفاظ على وظائفه الأساسية.
تأثير ثوري للمحولات
لقد شكلت الشبكات العصبية القائمة على المحولات تحولاً نموذجياً في مجالات معالجة اللغات الطبيعية والرؤية الحاسوبية. ومع ذلك، فإن براعتها الاستثنائية في الأداء تأتي بتكلفة – تتضمن النماذج المتطورة مليارات إلى تريليونات من المعلمات. تترجم هذه الأبعاد الضخمة إلى نفقات حسابية وزمنية كبيرة أثناء تدريب النموذج.
تعزيز الكفاءة من خلال التوسع التحويلي
تعالج تعاون البحث هذه القيود مباشرةً من خلال تقديم تحويلات توسيع المعلمات التي تحدث ثورة في تدريب الشبكات العصبية القائمة على المحولات. يمكّن هذا النهج هندسة الشبكة من التوسع المنهجي دون المساس بوظائفها الأساسية.
الحفاظ على الوظيفة: الفكرة الأساسية
في قلب هذا الجهد الرائد تكمن فكرة "التحويلات التي تحافظ على الوظيفة". يتضمن هذا الإطار ست تحويلات مميزة، كل منها موجه نحو جانب معين من هندسة المحول القائمة. من خلال ضمان أن تحافظ هذه التحويلات على الوظيفة الأساسية للشبكة، يمكن للباحثين دفع حدود قدرة النموذج دون تقويض الأداء.
التحويلات الست التي تحافظ على الوظيفة
1. توسيع حجم التمثيل الداخلي لـ MLP: يتضمن هذا التحويل التكبير المتعمد للتمثيل الداخلي للمشبك العصبي متعدد الطبقات. يتم تحقيقه من خلال عمليات مصفوفة المعلمات، ويخدم كحجر زاوية لتعزيز مقياس الشبكة.
2. توسيع رؤوس الانتباه: من خلال تقديم تحويل "إضافة الرأس"، يمكن للباحثين دمج عدد متغير من الرؤوس الجديدة في مكون الانتباه متعدد الرؤوس. يعزز هذا المرونة التكيفية دون تعطيل العملية الأساسية للهندسة المعمارية.
3. توسيع أبعاد تمثيلات الانتباه: يركز تحويل "توسيع الرؤوس" على توسيع أبعاد التمثيلات التي تولدها رؤوس الانتباه. يساهم هذا التعزيز بشكل كبير في قدرة الشبكة على معالجة الأنماط المعقدة.
4. تضخيم مدخلات الانتباه: من خلال تحويل "توسيع الانتباه"، تخضع أزواج تمثيل المفتاح والاستعلام المستخدمة في توليد أوزان الانتباه للتوسيع. يعزز هذا الآليات الانتباهية للشبكة.
5. رفع تمثيلات طبقات المحول: يغني تحويل "توسيع الأبعاد المخفية" بعد التمثيلات التي تولدها طبقات المحول. يضيف هذا التعزيز قوة تعبيرية متزايدة إلى النموذج.
6. إضافة طبقات: يسهل تحويل "إضافة الطبقة" إدراج طبقات جديدة في هندسة المحول. يفتح هذا التوسع المعياري آفاقاً لتصميم النموذج المعقد والتجربة.
براهين صارمة للحفاظ على الوظيفة
يتمثل جوهر مصداقية هذه التوسعات التحويلية في التأسيس الصارم للحفاظ على الوظيفة تحت قيود التهيئة الدنيا. يوفر فريق البحث براهين ملموسة لكل تحويل يحافظ على الوظيفة، مما يضمن للممارسين والباحثين الأداء المستدام للنماذج الموسعة.
فتح الإمكانات
تتمثل تداعيات هذا البحث الرائد في عمقها. ومن خلال التوسع التدريجي في البنية مع الالتزام بالتحويلات التي تحافظ على الوظيفة، يمكن للباحثين تدريب نماذج أكثر متانة وقوة بكفاءة في استخدام الموارد. يُعد هذا النهج بتفكيك المقايضة بين سعة النموذج وتكاليف التدريب، مما يمثل تقدماً كبيراً في هذا المجال.
مع استمرار تطور التكنولوجيا، يحمل مستقبل الألعاب آفاقاً مثيرة. من المتوقع أن تعيد الواقع الافتراضي (VR) والواقع المعزز (AR) تعريف تجربة اللعب الغامرة. تعد خدمات الألعاب السحابية بجعل الألعاب عالية الجودة في متناول جمهور أوسع، بينما قد تحدث تقنيات الذكاء الاصطناعي (AI) ثورة في تصميم الألعاب وسرد القصص.
يكشف التعاون بين جوجل ديب مايند وجامعة تولوز عن مسار تحويلي لتطور الشبكات العصبية القائمة على المحولات (Transformers). إن تقديم هذه التحويلات القابلة للتكوين والتي تحافظ على الوظيفة يمهد الطريق لعصر جديد من البحث والتطبيق، مما يعد بتحقيق تقدم في مجالات متنوعة.
تعد الكفاءة والأداء أمرين بالغَي الأهمية، وتُعد الورقة البحثية "التوسعات القابلة للتكوين والحفاظ على الوظيفة لهندسة المعمارية للمحولات" حجر الزاوية في الابتكار. إن القدرة على توسيع قدرات الشبكات العصبية القائمة على المحولات مع الحفاظ على وظيفتها الأساسية تعيد تعريف حدود الممكن. ومع تبنى مجتمع البحث لهذه الأدوات التحويلية، فإن مسار تطوير النماذج وتطبيقاتها على وشك أن يشهد تحولاً ملحوظاً.
لا تكتفِ بقراءة أخبار العملات الرقمية فحسب، بل افهمها. اشترك في نشرتنا الإخبارية. مجانية.
إخلاء مسؤولية. المعلومات المقدمة ليست نصيحة تداول. Cryptopolitan.com لا تتحمل أي مسؤولية عن أي استثمارات تتم بناءً على المعلومات المقدمة في هذه الصفحة. نوصي بشدة بإجراء بحث مستقل و/أو الاستعانة بمستشار مؤهل قبل اتخاذ أي قرارات استثمارية.
راندا موسى
رندا موسى محررة وصحفية في كريبتوبوليتان تغطي التكنولوجيا والذكاء الاصطناعي والروبوتات والعملات الرقمية والاحتيال والاختراقات. عملت في مجال العملات الرقمية منذ عام 2017. شغلت مناصب في Forward Protocol وAmaZix وCryptosomniac. وتحمل رندا درجة البكالوريوس في الهندسة الكهربائية والإلكترونيات من جامعة برادفورد.
