Революция в ИИ: Memoria раскрывает скрытый потенциал трансформеров

В рамках прорывного исследования исследователи из Университета Сонгкюн Кван в Южной Корее представили новую систему памяти, вдохновленную принципами теории Хэбба. Этот передовой инновационный продукт обещает значительно повысить производительность моделей машинного обучения на основе трансформеров, особенно в задачах, связанных с обработкой длинных последовательностей данных. Исследование, опубликованное на сервере препринтов arXiv, представляет «Memoria» — общую сеть памяти, которая использует теорию Хэбба для улучшения долгосрочных зависимостей в нейронных сетях.

Хотя трансформеры доказали свою эффективность как мощные инструменты для обработки последовательных данных, они имеют ограничения при работе с более длинными последовательностями. Ограниченная емкость памяти трансформеров препятствует их способности эффективно обрабатывать длинные входные последовательности, что приводит к снижению производительности. В отличие от людей, которые избирательно запоминают и используют релевантную информацию из входных данных, трансформеры обрабатывают все сырые данные от начала до конца, что делает их менее эффективными при работе с длинными последовательностями.

Память Хэбба для трансформеров

Основной целью исследователей Сангджуна Парка и Джин Ёнг Бака было создание системы, способной преодолеть эти ограничения и наделить модели трансформеров улучшенными возможностями. Вдохновившись теорией Хэбба, которая постулирует, что нейроны и клетки, которые часто активируются вместе, склонны формировать ассоциации, ведущие к обучению, они представили Memoria.

«Memoria хранит и извлекает информацию, называемую энграммой, на нескольких уровнях памяти рабочей памяти, кратковременной памяти и долговременной памяти, используя веса связей, которые изменяются в соответствии с правилом Хэбба»,

объясняют Парк и Бак в своей статье.

В серии экспериментов исследователи оценили эффективность своей системы памяти Хэбба, и результаты оказались весьма многообещающими. Memoria продемонстрировала свою способность значительно повышать производительность моделей трансформеров в ряде задач, связанных с обработкой длинных последовательностей данных.

«Проведя эксперименты с популярными моделями на основе трансформеров, такими как BERT и GPT, мы показали, что Memoria значительно улучшает способность учитывать долгосрочные зависимости в различных задачах»,

сообщили исследователи.

«Результаты показывают, что Memoria превосходит существующие методологии в задачах сортировки, языкового моделирования и классификации длинных текстов».

Исходный код с открытым доступом для более широкого внедрения

В рамках шага, направленного на содействие более широкому внедрению и сотрудничеству, код, разработанный Парком и Баком, является открытым и доступен на GitHub. Исследователи также развернули Memoria с использованием независимого пакета Python, что делает его удобным для разработчиков по всему миру. Этот подход с открытым доступом, как ожидается, побудит другие исследовательские группы изучить потенциал Memoria для повышения производительности их моделей на основе трансформеров.

Прорывная архитектура памяти, разработанная исследователями Университета Сонгкюн Кван, готова к дальнейшему изучению в сложных задачах, а спектр ее потенциальных применений огромен. По мере того как все больше исследовательских групп по всему миру экспериментируют с Memoria, можно ожидать всплеска в разработке более мощных и эффективных моделей машинного обучения на основе трансформеров.