Секретное оружие Европы для противостояния крупным технологическим компаниям в области генеративного искусственного интеллекта

Генеративный искусственный интеллект в настоящее время является самым обсуждаемым направлением в сфере технологий, и такие крупные игроки, как Microsoft, Google, Amazon и Meta, доминируют на рынке со своими большими языковыми моделями (LLM). Эти LLM широко рассматриваются как следующий крупный технологический прорыв. Однако есть проблеск надежды для Европы, стремящейся бросить вызов превосходству крупных технологических компаний, особенно в области языков, отличных от английского.

Дилемма вычислений и данных

Доминирование крупных технологических компаний в сфере искусственного интеллекта обусловлено не только их огромными вычислительными мощностями, но и доступом к обширным языковым данным, часто собираемым из интернета. Хотя для европейской компании превзойти крупные технологические компании в создании многоязычной модели на английском языке может быть непростой задачей, финская компания Silo, занимающаяся искусственным интеллектом, представила многообещающие результаты для своей многоязычной модели под названием Poro (по-фински — северный олень).

Poro обучен на финском и английском текстах, что доказывает возможность создания высокопроизводительных моделей языковой обработки (LLM) путем смешивания разных языков. Silo утверждает, что предварительные результаты демонстрируют его конкурентоспособность по сравнению с открытыми моделями Llama от Meta. Сотрудничество Silo с Университетом Турку позволило использовать огромный массив данных из финансируемой ЕС инициативы, известной как проект High Performance Language Technologies (HPLT), в рамках которого с 2022 года было собрано ошеломляющее количество данных — 7 петабайт (7000 терабайт) по 80 языкам. Для сравнения, модель GPT-3.5, на которой основана релизная версия ChatGPT, была обучена на 45 терабайтах текстовых данных.

Доступ к таким высококачественным текстовым данным, финансируемым из государственных средств, как в случае с HPLT, может дать моделям, подобным модели Silo, преимущество в языках с ограниченным доступом к онлайн-данным.

Многоязычный подход

Из-за дефицита данных по таким языкам, как финский, Silo применила многоязычную стратегию, «перекрестно обучая» свою модель на данных как на английском, так и на финском языках. Такой подход предполагает подачу модели текста на обоих языках, что позволяет ей изучить взаимосвязь между ними. В результате модель может генерировать ответы на финском языке, даже если ранее не сталкивалась с финским кодом.

Питер Сарлин, соучредитель и генеральный директор Silo, объясняет: «Вы можете генерировать код на финском языке, даже если модель никогда не видела финского кода». Silo планирует сделать свои методы кросс-обучения открытыми, что потенциально откроет путь для разработки моделей на всех европейских языках, включая те, для которых доступно ограниченное количество данных.

Стремление к технологическому суверенитету

Сарлин отмечает, что на рынке существует значительный потенциал для программ магистратуры в области права (LLM) на языках, отличных от английского. Он подчеркивает важность того, чтобы европейские компании не полагались исключительно на технологии, принадлежащие крупным американским компаниям. Использование моделей искусственного интеллекта, разработанных крупными технологическими компаниями, может привести к тому, что в Европе будет создаваться мало добавленной стоимости. Поэтому для Европы становится все более важным отстаивать свой технологический суверенитет.

Суперкомпьютерные мощности LUMI

В процессе обучения Поро также использовался финансируемый ЕС суперкомпьютер LUMI, который начал работу в 2022 году. Примечательно, что LUMI использует чипы AMD, в отличие от стандартных чипов NVIDIA. Хотя некоторые считают чипы AMD дорогими и неэффективными для ИИ, команда Сило вложила значительные ресурсы в разработку программного обеспечения для обучения ИИ, оптимизированного для них.

Сарлин указывает, что они планируют сделать значительную часть этого программного обеспечения открытой и готовы оказывать помощь другим компаниям в обучении моделей на LUMI. Если европейские компании смогут использовать такие ресурсы, как LUMI, для обучения ИИ, это может кардинально изменить ситуацию в стремлении континента занять лидирующие позиции в эпоху искусственного интеллекта.

Европейский ренессанс в области искусственного интеллекта

Пока крупные технологические компании продолжают демонстрировать свои возможности в области ИИ в Силиконовой долине, Европа незаметно наращивает собственный арсенал. Сильные стороны континента заключаются в многоязычном подходе, использовании финансируемых государством языковых данных и изучении альтернативных вычислительных вариантов, таких как LUMI. Хотя предстоящий путь может быть непростым, решимость Европы конкурировать на мировой арене ИИdent.

Секретное оружие Европы в борьбе против доминирования крупных технологических компаний в области генеративного ИИ кроется в ее многообразии, сотрудничестве и приверженности технологическому суверенитету. Модель Poro от Silo, демонстрирующая, чего можно достичь, дает Европе вполне реальный шанс оставить свой след в мире ИИ.