Казахстан запускает свою первую крупную языковую модель

16 декабря Казахстан сделает огромный технологический шаг вперед, запустив свою первую большую языковую модель (LLM) под названием KazLLM. Этот запуск совпадает с 33-й годовщиной независимости страны.

Читайте также: Генеративный ИИ оживляет NPC в видеоиграх

Об этом сообщило Институт интеллектуальных систем и искусственного интеллекта (ISSAI) во время брифинга в Назарбаевском университете 18 июля. Сбор данных для проекта начался в марте, а обучение модели проводится с использованием облачной вычислительной платформы, оснащенной узлами NVIDIA H100.

dentи эксперты объединяют усилия в разработке искусственного интеллекта

В проекте KazLLM сотрудничаютdentНазарбаевского университета,dentАстанинского ИТ-университета, выпускники стипендиальной программы «Болашак» и местные участники. Главная цель этой инициативы — создание KazLLM и формирование кадрового резерва, способного разрабатывать интеллектуальные инструменты и приложения на основе искусственного интеллекта.

Основатель и руководитель ISSAI, профессор Атакан Варол, стремится преодолеть технологический разрыв с другими странами с помощью этого проекта. Он заявил, что после его завершения Казахстан будет отставать от ведущих стран всего на 18 месяцев в плане технологий. Ожидается, что интеграция голосовых функций сократит этот разрыв до 12 месяцев, а дальнейшие усовершенствования моделей распознавания речи могут вывести Казахстан в авангард развития искусственного интеллекта.

В качестве источников данных для проекта используются статьи Википедии, новостные издания, правительственные веб-сайты и открытые наборы данных, такие как Common Crawl. Уже более пяти лет ISSAI создает различные наборы данных для обработки естественного языка, специально разработанные для казахского языка. Эта обширная коллекция наборов данных очень важна, поскольку она помогает эффективно и точно обучать KazLLM.

Казахстан надеется решить проблемы национальной и информационной безопасности с помощью инноваций в области искусственного интеллекта

Проект KazLLM имеет значение для национальной безопасности и информационной безопасности. Казахстан надеется минимизировать свою зависимость от иностранных технологий, которые могут привести к утечкам данных и искажению информации, путем создания локальной языковой модели.

Заместитель директора по внешним связям и ведущий специалист по анализу данных Мадина Абдрахманова подчеркнула обширность обучающего корпуса модели. «Он будет состоять как минимум из 100 миллиардов токенов на казахском, русском, английском и турецком языках, причем каждый язык будет представлен 25 миллиардами токенов», — сказала директор.

В настоящее время проект располагает более чем 30 миллиардами токенов, включая 26 миллиардов токенов, созданных с помощью переводчика Tilmash, который преобразует данные с английского на казахский язык. Эта возможность перевода гарантирует, что модель может генерировать связный и точный текст на казахском языке.

Читайте также: OpenAI переходит на облегченную версию, выпуская более дешевую модель ИИ под названием GPT-4o mini.

ISSAI планирует создать удобный пользовательский интерфейс для KazLLM, аналогичный интерфейсам моделей OpenAI, чтобы сделать его более доступным. После завершения разработки он сможет поддерживать взаимодействие с моделью, обучение с подкреплением на основе обратной связи от людей и настройку для различных ситуаций с целью максимизации производительности. KazLLM будет предлагаться как в виде общего пакета подписки, так и в виде API для опытных пользователей.