Норвегия на пути к продвижению своего магистерского образования в области права

Группа языковых технологий (LTG) Университета Осло подготовила три большие языковые модели (LLM) для норвежского языка. Это стало возможным благодаря тому, что исследователям предоставили время для доступа к самому мощному в Европе компьютеру Lumi, расположенному в Финляндии. Исследователи из LTG обучили свои большие языковые модели (LLM) на Lumi до Рождества и обработали довольно большой объем данных, чтобы запустить три разные модели норвежского языка для конкуренции с ChatGPT. Доступ к Lumi получить непросто, поскольку исследователям приходится подавать заявку заранее и ждать своей очереди, но мощный компьютер значительно ускоряет процесс обучения на данных.

Почему норвежцы хотят иметь собственную большую языковую модель (LLM)

Компания Norwegian хотела создать собственную языковую модель, поскольку помимо использования родного языка у нее было множество других применений, что способствовало более широкому распространению. Указывая на различные проблемы, связанные с коммерческими решениями, профессорmaticУниверситета Осло Эрик Веллдал сказал:

«С языковыми моделями технологических гигантов связано множество проблем. Для внешнего мира они выглядят как чёрные ящики. Нам нужны норвежские альтернативы»

Источник: Эрик Веллдал.

Ранее Национальная библиотека Норвегии и Университет Осло работали над несколькими моделями норвежского языка, но разработанные сейчас модели являются самыми крупными на сегодняшний день, содержащими более 30 миллиардов слов для обучения. 

Роль Lumi важна, поскольку для обучения моделей ИИ требуется большая вычислительная мощность, включая множество графических процессоров. Процесс обучения можно ускорить, увеличив количество графических процессоров, и Lumi предоставляет хорошую возможность для этого, поскольку в её состав входит более 10 000 графических процессоров. 

Доцент Андрей Кутузов говорит, что среди многих других причин создания норвежской языковой модели было то, что такие сервисы, как ChatGPT, плохо адаптируются к знаниям и ценностям Норвегии. Эти модели обучаются в основном на американских языках и английском, поэтому defi, отражают американскую культуру и ценности, а норвежцам нужно было что-то, соответствующее их собственным предпочтениям. Он говорит:

«Норвежская языковая модель будет в гораздо большей степени отражать общество, каким мы его знаем в Норвегии»

Источник: Андрей Кутузов.

Ограничения норвежских моделей обработки больших языков

Норвежские модели, предназначенные в основном для разработчиков и исследователей, уже запущены и скачаны несколькими тысячами человек. Кутузов объясняет, что эти модели недоступны в интернете, поскольку веб-интерфейс считается простым в использовании для широкой публики. По словам профессора, эти модели все еще далеки от коммерческих моделей с точки зрения предлагаемых возможностей, поскольку это базовые модели общего назначения. 

В норвежской группе разработчиков языковых технологий бытует мнение, что для конкуренции с ChatGPT от OpenAI или LaMDA от Google им необходимы собственные модели. Наряду со многими другими замечаниями, например, о том, что коммерческие модели предоставляют доступ только через веб-интерфейс, а доступ к самой модели закрыт. Поэтому во многих случаях передача данных сторонним поставщикам услуг может быть рискованной. Например, в случае медицинских данных, где конфиденциальность является первостепенной задачей.

Норвежские языковые модели довольно ограничены по сравнению с ChatGPT. Они обучены всего на 0,1% данных, использованных для обучения ChatGPT, но эти модели не являются закрытыми и не имеют ограничений, поэтому они могут лучше служить исследователям.

Достичь качества и стандартов американских языковых моделей по-прежнему непросто, и норвежские модели нуждаются в дальнейшем развитии. Чтобы сравняться с ChatGPT или Bard, им необходима профессиональная подготовка, позволяющая решать более сложные задачи. Говорят, что будут выпущены новые версии моделей, и этот процесс продолжится.