哈萨克斯坦将推出其首个大型语言模型

12月16日，哈萨克斯坦将迈出科技发展的重要一步，推出其首个大型语言模型（LLM）——KazLLM。此次发布恰逢该国独立33周年纪念日。.

另请阅读： 生成式人工智能让电子游戏NPC栩栩如生

智能系统与人工智能研究所（ISSAI）在7月18日于纳扎尔巴耶夫大学举行的新闻发布会上宣布了这一消息。该项目的数据收集工作于3月份开始，模型正在使用配备NVIDIA H100节点的云计算平台进行训练。.

dent和专家携手合作，共同开发人工智能

纳扎尔巴耶夫大学dent、阿斯塔纳信息技术大学dent、博拉沙克奖学金获得者以及当地参与者正在合作开展KazLLM项目。该项目的主要目标是创建KazLLM，并培养一支能够开发智能人工智能工具和应用的人才队伍。.

ISSAI创始人兼负责人阿塔坎·瓦罗尔教授希望通过这个项目弥合哈萨克斯坦与其他国家在技术上的差距。他表示，项目完成后，哈萨克斯坦在技术方面将仅落后于领先国家18个月。语音功能的整合有望将这一差距缩短至12个月，而语言视觉模型的进一步发展则可能使哈萨克斯坦在人工智能发展领域处于领先地位。.

维基百科文章、新闻媒体、政府网站以及Common Crawl等开放数据集都是本项目的数据来源。五年来，ISSAI一直在创建各种专门针对哈萨克语设计的自然语言处理数据集。这些庞大的数据集非常重要，因为它们有助于高效、准确地训练KazLLM模型。.

哈萨克斯坦希望利用人工智能创新来应对国家安全和信息安全问题。

KazLLM项目具有国家和信息安全意义。哈萨克斯坦希望通过创建本土语言模型，最大限度地减少对外国技术的依赖，从而避免数据泄露和信息失真等问题。.

对外关系副主任兼首席数据科学家玛蒂娜·阿卜杜拉赫曼诺娃强调了该模型广泛的训练语料库。“它将包含至少1000亿个词元，涵盖哈萨克语、俄语、英语和土耳其语，每种语言各占250亿个词元，”她说道。.

目前，该项目拥有超过300亿个代币，其中260亿个代币是通过Tilmash翻译器生成的，该翻译器可将英文数据转换为哈萨克语数据。这种翻译功能确保模型能够生成连贯且准确的哈萨克语文本。.

另请阅读： OpenAI 推出更轻量级的 AI 模型 GPT-4o mini

ISSAI 计划为 KazLLM 创建一个类似 OpenAI 模型那样的用户友好界面，以提升其易用性。完成后，该界面将支持模型交互、基于人类反馈的强化学习以及针对不同场景的调优，从而最大限度地提升模型性能。KazLLM 将以通用订阅包和面向资深用户的 API 两种形式提供。.