カザフスタン、初の大規模言語モデルを発表

12月16日、カザフスタンは初の大規模言語モデル（LLM）であるKazLLMをリリースし、技術的に大きな前進を遂げる予定です。このリリースは、同国の独立33周年記念日と重なります。.

こちらもご覧ください: ジェネレーティブAIがビデオゲームのNPCに命を吹き込む

スマートシステム・人工知能研究所（ISSAI）は、7月18日にナザルバエフ大学で行われた説明会でこのことを発表しました。プロジェクトのデータ収集は3月に開始され、モデルの学習はNVIDIA H100ノードを搭載したクラウドコンピューティングプラットフォームを用いて行われています。.

dentと専門家がAI開発に協力

ナザルバエフ大学のdent、アスタナIT大学のdent、ボラシャク奨学金の卒業生、そして地元の参加者が協力してKazLLMプロジェクトに取り組んでいます。この取り組みの主な目的は、KazLLMを構築し、インテリジェントなAIツールやアプリケーションを開発できる人材を育成することです。.

ISSAIの創設者であり代表を務めるアタカン・ヴァロル教授は、このプロジェクトを通じて他国との技術格差を埋めたいと考えています。ヴァロル教授は、プロジェクト完了後、カザフスタンは先進国と比べて技術面でわずか18ヶ月遅れになると述べています。音声機能の統合により、この期間は12ヶ月に短縮されると予想されており、言語視覚モデルのさらなる進歩により、カザフスタンはAI開発の最前線に立つことが期待されます。.

このプロジェクトのデータは、Wikipediaの記事、ニュースメディア、政府のウェブサイト、Common Crawlのようなオープンデータセットなどから取得されています。ISSAIは5年以上にわたり、カザフ語向けに特別に設計された様々な自然言語処理データセットを作成してきました。この膨大なデータセットは、KazLLMの効果的かつ正確な学習に役立つため、非常に重要です。.

カザフスタンはAIイノベーションで国家安全保障と情報安全保障に取り組むことを望んでいる

KazLLMプロジェクトは、国家安全保障と情報安全保障に影響を及ぼします。カザフスタンは、データ漏洩や歪曲された情報の提示につながる可能性のある外国技術への依存を最小限に抑えるため、現地で作成された言語モデルを作成することを目指しています。.

対外関係担当副ディレクター兼主任データサイエンティストのマディナ・アブドラクマノワ氏は、このモデルの幅広いトレーニングコーパスを強調した。「カザフ語、ロシア語、英語、トルコ語の少なくとも1000億トークンで構成され、各言語は250億トークンで表現されます」とアブドラクマノワ氏は述べた。.

現在、このプロジェクトには300億以上のトークンがあり、その中には英語からカザフ語へのデータ変換を行うTilmash翻訳機によって生成された260億トークンが含まれています。この翻訳機能により、モデルはカザフ語で一貫性があり正確なテキストを生成することができます。.

こちらもご覧ください: OpenAIが軽量化を進め、より安価なAIモデル「GPT-4o mini」をリリース

ISSAIは、OpenAIモデルと同様に、KazLLMのユーザーフレンドリーなインターフェースを構築し、よりアクセスしやすくする予定です。完成すれば、モデル間のインタラクション、人間のフィードバックによる強化学習、そして様々な状況に合わせたチューニングによるパフォーマンス最大化をサポートできるようになります。KazLLMは、一般ユーザー向けのサブスクリプションパッケージと、経験豊富なユーザー向けのAPIとして提供されます。.