哈萨克斯坦将推出其首个大型语言模型

12月16日，哈萨克斯坦将迎来巨大的技术进步，推出其首个大型语言模型（LLM），名为KazLLM。此次发布恰逢该国独立33周年纪念日。

延伸阅读： 生成式人工智能让电子游戏 NPC 栩栩如生

智能系统与人工智能研究所（ISSAI）于7月18日在纳扎尔巴耶夫大学的简报会上宣布了这一消息。该项目的数据收集始于3月，模型正在使用由NVIDIA H100节点提供的云计算平台进行训练。

学生与专家联手开发人工智能

纳扎尔巴耶夫大学的学生、阿斯塔纳IT大学的学生、博拉舍克奖学金获得者和本地参与者正在合作开发KazLLM项目。该倡议的主要目标是创建KazLLM，并培养能够生产智能人工智能工具和应用程序的劳动力。

ISSAI创始人兼主任阿塔坎·瓦罗尔（Atakan Varol）教授希望通过该项目缩小与其他国家的技术差距。他表示，项目完成后，哈萨克斯坦在技术方面将仅落后领先国家18个月。集成语音功能预计将把这一差距缩短至12个月，而额外的语言视觉模型进步可能会使哈萨克斯坦处于人工智能发展的前沿。

维基百科文章、新闻媒体、政府网站和Common Crawl等开放数据集是该项目数据的来源。五年来，ISSAI一直在创建专门针对哈萨克语的各种自然语言处理数据集。这些广泛的数据集集合非常重要，因为它们有助于有效且准确地训练KazLLM。

哈萨克斯坦希望利用人工智能创新解决国家和信息安全问题

KazLLM项目具有国家和信息安全意义。哈萨克斯坦希望通过创建本地制作的语言模型，最大限度地减少对外国技术的依赖，从而防止数据泄露和扭曲信息的呈现。

对外关系副主任兼首席数据科学家Madina Abdrakhmanova强调了模型广泛的训练语料库。“它将包含至少1000亿个令牌，涵盖哈萨克语、俄语、英语和土耳其语，每种语言由250亿个令牌组成，”主任说。

目前，该项目拥有超过300亿个令牌，其中包括260亿个通过Tilmash翻译器生成的令牌，该翻译器将英语转换为哈萨克语数据。这种翻译能力确保模型能够生成连贯且准确的哈萨克语文本。

延伸阅读： OpenAI 推出轻量级版本，发布更便宜的 AI 模型 GPT-4o mini

ISSAI计划为KazLLM创建一个用户友好的界面，类似于OpenAI模型的界面，以提高其可访问性。完成后，它将能够支持模型交互、来自人类反馈的强化学习以及针对不同情况的调整，以最大化性能。KazLLM将作为通用订阅包提供，并为经验丰富的用户提供API。