إعادة تشكيل الذكاء الاصطناعي: "Memoria" تطلق العنان للقوة الكامنة في المحولات
الذكاء الاصطناعي
- تُرفّع ذاكرة هيبين نماذج محوِّلات التحويل لمهام معقدة.
- معالجة ميموريا للسلاسل الطويلة تمكّن أداء محوِّلات التحويل.
- ميموريا مفتوحة المصدر تقدّم للمطورين حول العالم أداة ذكاء اصطناعي تحويلية.
في تطور رائد، كشف باحثو جامعة سونغكونكوان في كوريا الجنوبية عن نظام ذاكرة جديد مستوحى من مبادئ نظية هيب. يعد هذا الابتكار المتطور بتحسين أداء نماذج التعلم الآلي القائمة على المحولات بشكل كبير، لا سيما في المهام التي تتضمن معالجة تسلسلات البيانات الطويلة. وقد نُشر البحث على خادم ما قبل الطباعة arXiv، ويقدم "Memoria"، وهو شبكة ذاكرة عامة تستفيد من نظرية هيب لتحسين الاعتماديات طويلة المدى في الشبكات العصبية.
على الرغم من أن المحولات (Transformers) أثبتت كونها أدوات قوية في معالجة البيانات المتسلسلة، إلا أنها تواجه قيوداً عند التعامل مع التسلسلات الأطول. إن سعة التخزين المحدودة للمحولات تعيق قدرتها على معالجة تسلسلات الإدخال الممتدة بفعالية، مما يؤدي إلى تراجع في الأداء. وعلى عكس البشر، الذين يتذكرون بشكل انتقائي ويستخدمون المعلومات ذات الصلة من المدخلات، تقوم المحولات بمعالجة جميع البيانات الخام من البداية إلى النهاية، مما يجعلها أقل كفاءة في التعامل مع التسلسلات الطويلة.
ذاكرة هيبية للمحولات
كان الهدف الرئيسي للباحثين سانغجون بارك وجين يونغ باك هو تصميم نظام يمكنه التغلب على هذه القيود وتمكين نماذج المحولات من قدرات محسنة. مستوحاة من نظرية هيب، التي تفيد بأن الخلايا العصبية والخلايا التي يتم تنشيطها معاً بشكل متكرر تميل إلى تكوين ارتباطات تؤدي إلى التعلم، قدموا "Memoria".
"تخزن "Memoria" وتسترجع المعلومات المسماة "إنغرام" (Engram) على مستويات متعددة من الذاكرة العاملة، والذاكرة قصيرة المدى، والذاكرة طويلة المدى، باستخدام أوزان اتصال تتغير وفقاً لقاعدة هيب،"
يشرح بارك وباك في ورقتهم البحثية.
في سلسلة من التجارب، قام الباحثون بتقييم فعالية نظام الذاكرة الهيبية الخاص بهم، وكانت النتائج واعدة للغاية. أظهرت "Memoria" قدرتها على تعزيز أداء نماذج المحولات بشكل كبير عبر مجموعة من المهام التي تتضمن معالجة تسلسلات بيانات طويلة.
"من خلال تجارب مع نماذج شائعة قائمة على المحولات مثل BERT و GPT، نقدم أن "Memoria" تحسن بشكل كبير القدرة على مراعاة الاعتماديات طويلة المدى في مهام متنوعة،"
أفاد الباحثون.
"أظهرت النتائج أن "Memoria" تفوقت على المنهجيات الحالية في فرز البيانات ونمذجة اللغة وتصنيف النصوص الطويلة."
كود مفتوح المصدر لتعزيز التبني الأوسع
في خطوة تهدف إلى تعزيز التبني الأوسع والتعاون، فإن الكود الذي طوره بارك وباك مفتوح المصدر ومتاح بسهولة على GitHub. كما قام الباحثون بنشر "Memoria" باستخدام حزمة Python مستقلة، مما يجعلها سهلة الاستخدام للمطورين حول العالم. من المتوقع أن يشجع هذا النهج مفتوح الوصول مجموعات بحثية أخرى على استكشاف إمكانات "Memoria" في تعزيز أداء نماذجهم القائمة على المحولات.
تستعد بنية الذاكرة الرائدة التي طورها باحثو جامعة سونغكونكوان لمزيد من الاستكشاف في المهام المعقدة، وتطبيقاتها المحتملة واسعة النطاق. ومع قيام المزيد من مجموعات البحث حول العالم بالتجربة مع "Memoria"، يمكننا توقع طفرة في تطوير نماذج تعلم آلي أكثر قوة وكفاءة تعتمد على المحولات.
إذا كنت تقرأ هذا، فأنت متقدّم بالفعل. ابق هناك مع نشرتنا الإخبارية.
إخلاء مسؤولية. المعلومات المقدمة ليست نصيحة تداول. Cryptopolitan.com لا تتحمل أي مسؤولية عن أي استثمارات تتم بناءً على المعلومات المقدمة في هذه الصفحة. نوصي بشدة بإجراء بحث مستقل و/أو الاستعانة بمستشار مؤهل قبل اتخاذ أي قرارات استثمارية.
بريان كوم
يتمتع برايان كوم بخبرة تزيد عن سبع سنوات في تغطية سلاسل الكتل والعملات المشفرة، حيث كان نشطاً في هذا القطاع منذ عام 2017. وقد أسهم في نشرات رائدة، بما في ذلك BlockToday.com. علاوة على ذلك، طور دورة «إيثريوم للمبتدئين» (Ethereum 101) لموقع BitDegree.org قبل انضمامه إلى Cryptopolitan كاتباً بدوام كامل. يغطي برايان أدلةً دائمة الصلاحية (EGs)، وتحليلات عميقة، ومقابلات، وتحليلات الأسعار. وتركيزه على التمويل اللامركزي (DeFi)، وابتكارات سلاسل الكتل، والمشاريع الناشئة في عالم العملات المشفرة يسعد القراء.
