Révolutionner l'IA : Memoria libère le pouvoir caché des transformateurs

Dans un développement révolutionnaire, des chercheurs de l'Université Sungkyunkwan en Corée du Sud ont dévoilé un nouveau système de mémoire inspiré des principes de la théorie hebbienne. Cette innovation de pointe promet d'améliorer considérablement les performances des modèles d'apprentissage automatique basés sur des transformateurs, en particulier dans les tâches impliquant le traitement de longues séquences de données. La recherche, publiée sur le serveur de prépublication arXiv, introduit « Memoria », un réseau de mémoire général qui exploite la théorie hebbienne pour améliorer les dépendances à long terme dans les réseaux neuronaux.

Bien que les transformateurs se soient révélés être des outils redoutables pour le traitement des données séquentielles, ils présentent des limitations lorsqu'il s'agit de gérer des séquences plus longues. La capacité de stockage limitée des transformateurs entrave leur capacité à traiter efficacement des séquences d'entrée étendues, entraînant une baisse de performance. Contrairement aux humains , qui se souviennent sélectivement et utilisent les informations pertinentes des entrées, les transformateurs traitent toutes les données brutes du début à la fin, ce qui les rend moins efficaces pour gérer des séquences longues.

Une mémoire hebbienne pour les transformateurs

L'objectif principal des chercheurs Sangjun Park et JinYeong Bak était de concevoir un système capable de surmonter ces limitations et de doter les modèles de transformateurs de capacités améliorées. S'inspirant de la théorie hebbienne, qui postule que les neurones et les cellules activés ensemble de manière répétée ont tendance à former des associations qui conduisent à l'apprentissage, ils ont introduit Memoria.

« Memoria stocke et récupère l'information appelée engramme à plusieurs niveaux de mémoire de la mémoire de travail, de la mémoire à court terme et de la mémoire à long terme, en utilisant des poids de connexion qui changent selon la règle de Hebb, »

expliquent Park et Bak dans leur article.

Dans une série d'expériences, les chercheurs ont évalué l'efficacité de leur système de mémoire hebbienne, et les résultats étaient très prometteurs. Memoria a démontré sa capacité à améliorer significativement les performances des modèles de transformateurs dans une gamme de tâches impliquant le traitement de longues séquences de données.

« Grâce à des expériences avec des modèles populaires basés sur des transformateurs comme BERT et GPT, nous présentons que Memoria améliore considérablement la capacité de prendre en compte les dépendances à long terme dans diverses tâches, »

ont rapporté les chercheurs.

« Les résultats montrent que Memoria a surpassé les méthodologies existantes dans le tri, la modélisation linguistique et la classification de textes longs. »

Code open-source pour une adoption plus large

Dans une démarche visant à favoriser une adoption plus large et la collaboration, le code développé par Park et Bak est open-source et facilement accessible sur GitHub. Les chercheurs ont également déployé Memoria à l'aide d'un package Python indépendant, le rendant convivial pour les développeurs du monde entier. Cette approche d'accès ouvert est susceptible d'encourager d'autres groupes de recherche à explorer le potentiel de Memoria pour améliorer les performances de leurs modèles basés sur des transformateurs.

L'architecture mémoire révolutionnaire développée par les chercheurs de l'Université Sungkyunkwan est prête pour une exploration plus approfondie dans des tâches complexes, et ses applications potentielles sont vastes. À mesure que davantage de groupes de recherche dans le monde expérimentent Memoria, nous pouvons nous attendre à une augmentation du développement de modèles d' apprentissage automatique basés sur des transformateurs plus puissants et plus efficaces.