Норвегия на пути к продвижению своей игры с LLM

Группа языковых технологий (LTG) Университета Осло подготовила три норвежские большие языковые модели (LLM). Это стало возможным, так как исследователям было предоставлено время для доступа к самому мощному компьютеру Европы, Lumi, расположенному в Финляндии. Исследователи из LTG обучили свои большие языковые модели (LLM) на Lumi до Рождества и обработали довольно большой объем данных, чтобы запустить три различные норвежские языковые модели для вызова вызова ChatGPT. Доступ к Lumi нелегко получить, так как исследователи должны подать заявку заранее и затем ждать своей очереди, но мощный компьютер ускоряет процесс обучения данных.

Почему норвежцы хотят свою собственную большую языковую модель (LLM)

Норвежцы хотели создать свою собственную языковую модель, так как было много применений, помимо использования на родном языке для более широкой адаптируемости. Указывая на различные проблемы, связанные с коммерческими решениями, профессор информатики Университета Осло Эрик Велльдал сказал,

«Существует множество проблем, связанных с языковыми моделями технологических гигантов. Они появляются как черные ящики для внешнего мира. Нам нужны норвежские альтернативы.»

Источник: Эрик Велльдал.

Ранее Национальная библиотека Норвегии и Университет Осло работали над несколькими норвежскими языковыми моделями, но те, которые разработаны сейчас, являются крупнейшими на сегодняшний день, с более чем 30 миллиардами слов или обучением. 

Роль Lumi важна, так как для обучения моделей ИИ требуется много вычислительной мощности, включая множество блоков GPU. Процесс обучения можно ускорить, если увеличить количество GPU, и Lumi предлагает хорошую возможность, так как в нем интегрировано более 10 000 GPU. 

Доцент Андерс Кутузов говорит, что среди многих других причин создания норвежской языковой модели было то, что такие модели, как ChatGPT, плохо адаптируются к знаниям и ценностям Норвегии. Эти модели обучаются преимущественно на американских языках и английском, поэтому они определенно отражают американскую культуру и ценности, а норвежцам нужно было что-то, соответствующее их собственным предпочтениям. Он говорит,

«Норвежская языковая модель будет в гораздо большей степени отражать общество, каким мы его знаем в Норвегии.»

Источник: Андрей Кутузов.

Ограничения норвежских больших языковых моделей

Норвежские модели, по сути предназначенные для разработчиков и исследователей, уже были запущены и скачаны несколькими тысячами людей. Кутузов объясняет, что эти модели недоступны онлайн в сети. Поскольку веб-интерфейс считается простым в использовании для широкой публики. По словам профессора, эти модели все еще далеко от коммерческих моделей по возможностям, которые они предлагают. Так как это общие базовые модели,. 

В группе языковых технологий Норвегии существует мнение, что у них должны быть свои модели, чтобы конкурировать с ChatGPT от OpenAI или LaMDA от Google. Наряду со многими другими наблюдениями, которые у них были, такими как то, что коммерческие модели предоставляют доступ только через их веб-интерфейс, а модель за системой закрыта для доступа. Так что во многих контекстах может быть рискованно передавать данные стороннему поставщику услуг. Например, медицинские данные, где конфиденциальность является главной заботой.

Норвежские языковые модели довольно ограничены по сравнению с ChatGPT. Так как они обучены только на 0,1% данных, на которых обучен ChatGPT, но эти модели не закрыты и не ограничены, поэтому они могут лучше служить исследователям.

Соответствовать качествам и стандартам американских языковых моделей все еще сложно, и норвежским моделям требуется дальнейшее развитие. Чтобы быть наравне с ChatGPT или Bard, им нужна инструктивная тренировка, чтобы они могли решать немного более сложные проблемы. Говорят, что новые версии моделей будут запущены, и процесс продолжится.