Казахстан запустит свою первую большую языковую модель

16 декабря Казахстан совершает огромный технологический шаг вперед, запуская свою первую большую языковую модель (LLM) под названием KazLLM. Этот запуск совпадает с 33-й годовщиной независимости страны.

Также читайте: Генеративный ИИ оживляет NPC в видеоиграх

Институт интеллектуальных систем и искусственного интеллекта (ISSAI) объявил об этом во время брифинга в Университете Назарбаева 18 июля. Сбор данных по проекту начался в марте, а модель обучается с использованием облачной вычислительной платформы, оснащенной узлами NVIDIA H100.

Студенты и эксперты объединяют усилия в разработке ИИ

Студенты Университета Назарбаева, студенты Астанинского IT-университета, выпускники стипендии Болашак и местные участники сотрудничают в проекте KazLLM. Главная цель этой инициативы — создать KazLLM и подготовить кадры, способные производить интеллектуальные инструменты и приложения ИИ.

Основатель и руководитель ISSAI профессор Атакан Варол хочет преодолеть технологический разрыв с другими странами с помощью этого проекта. Он сказал, что после завершения Казахстан будет отставать от ведущих стран в технологическом плане всего на 18 месяцев. Интеграция голосовых функций, как ожидается, сократит этот разрыв до 12 месяцев, а дополнительные улучшения моделей зрительного восприятия могут вывести Казахстан на передний край развития ИИ.

Статьи Википедии, новостные издания, правительственные веб-сайты и открытые наборы данных, такие как Common Crawl, являются некоторыми из источников, откуда получаются данные для проекта. Уже более пяти лет ISSAI создает различные наборы данных для обработки естественного языка, специально разработанные для казахского языка. Эта обширная коллекция наборов данных очень важна, так как она помогает эффективно и точно обучать KazLLM.

Казахстан надеется решить вопросы национальной и информационной безопасности с помощью инноваций в области ИИ

Проект KazLLM имеет последствия для национальной и информационной безопасности. Казахстан надеется минимизировать свою зависимость от иностранных технологий, которые могут привести к утечкам данных и представлению искаженной информации, создавая языковую модель местного производства.

Заместитель директора по внешним связям и ведущий специалист по данным Мадина Абдрахманова подчеркнула широкий обучающий корпус модели. «Он будет состоять как минимум из 100 миллиардов токенов на казахском, русском, английском и турецком языках, при этом каждый язык будет представлен 25 миллиардами токенов», — сказала директор.

В настоящее время проект имеет более 30 миллиардов токенов, включая 26 миллиардов токенов, полученных через переводчик Tilmash, который преобразует английские данные в казахские. Эта возможность перевода гарантирует, что модель сможет генерировать связный и точный текст на казахском языке.

Также читайте: OpenAI упрощает модель, выпуская более дешевую ИИ-модель GPT-4o mini

ISSAI намерена создать удобный пользовательский интерфейс для KazLLM, подобный тем, что у моделей OpenAI, чтобы сделать его более доступным. После завершения он сможет поддерживать взаимодействие с моделью, обучение с подкреплением на основе обратной связи от людей и настройку для различных ситуаций для максимизации производительности. KazLLM будет предлагаться в виде общей подписки и в виде API для опытных пользователей.