カザフスタン、初の大規模言語モデルをローンチ

12月16日、カザフスタンは初の大規模言語モデル（LLM）「KazLLM」のローンチにより、大きな技術的飛躍を遂げます。このローンチは、同国の独立33周年記念日と重なっています。

関連記事: 生成AIがビデオゲームのNPCに命を吹き込む

スマートシステム・人工知能研究所（ISSAI）は、7月18日にナザルバエフ大学で行われたブリーフィングでこれを発表しました。プロジェクトのデータ収集は3月に開始され、NVIDIA H100ノードを搭載したクラウドコンピューティングプラットフォームを使用してモデルのトレーニングが行われています。

学生と専門家がAI開発で力を合わせる

ナザルバエフ大学の学生、アスタナIT大学の学生、ボラシュク奨学金修了生、および地元の参加者がKazLLMプロジェクトに協力しています。このイニシアチブの主な目的は、KazLLMを作成し、インテリジェントなAIツールやアプリケーションを生産できる人材を育成することです。

ISSAIの創設者であり所長であるアタカン・ヴァロール教授は、このプロジェクトを通じて他の国々との技術的格差を埋めたいと考えています。彼は、完了後、カザフスタンは最先端諸国に対して技術面で18ヶ月遅れるだけになると述べています。音声機能の統合により、この期間が12ヶ月に短縮され、追加の言語ビジョンモデルの進展により、カザフスタンがAI開発の最前線に立つ可能性があります。

Wikipediaの記事、ニュースメディア、政府ウェブサイト、Common Crawlなどのオープンデータセットは、プロジェクトのデータ取得元の一部です。ISSAIは過去5年以上にわたり、カザフスタン語用に特別に設計されたさまざまな自然言語処理データセットを作成してきました。この広範なデータセットのコレクションは、KazLLMを効果的かつ正確にトレーニングするために非常に重要です。

カザフスタンはAIイノベーションで国家安全保障と情報セキュリティに対処する

KazLLMプロジェクトには、国家安全保障および情報セキュリティ上の意味があります。カザフスタンは、データ侵害や歪められた情報の提示につながる可能性のある外国製テクノロジーへの依存を最小限に抑えるため、国内で作成された言語モデルの作成を目指しています。

外部関係担当副所長兼リードデータサイエンティストのMadina Abdrakhmanova氏は、モデルの広範なトレーニングコーパスを強調しました。「カザフスタン語、ロシア語、英語、トルコ語の各言語で最低1000億トークンで構成され、各言語は250億トークンで表されます」と所長は述べています。

現在、プロジェクトには300億トークン以上が含まれており、そのうち260億トークンは、英語からカザフスタン語へのデータを変換するTilmash翻訳器を通じて生成されたものです。この翻訳機能により、モデルはカザフスタン語で一貫性があり正確なテキストを生成できます。

関連記事: OpenAI、軽量化：安価なAIモデル「GPT-4o mini」をリリース

ISSAIは、OpenAIモデルのようなユーザーフレンドリーなインターフェースをKazLLMに作成し、よりアクセスしやすくする意向です。完了後、モデルとの対話、人間のフィードバックからの強化学習、および異なる状況向けのチューニングをサポートし、パフォーマンスを最大化します。KazLLMは、一般的なサブスクリプションパッケージとして、および経験豊富なユーザー向けのAPIとして提供されます。