AI4Bharat、インド言語モデルの促進のためにIndicLLMSuiteを導入

言語モデルトレーニングの分野におけるインド言語の表現を強化するための重要な一歩として、AI4BharatはIndicLLMSuiteを立ち上げました。この包括的なリソーススイートは、言語モデル（LLM）の開発において低・中リソース言語が直面する課題に対処するために特別に設計されています。このイニシアチブは、多様な言語環境全体に高度なNLP技術へのアクセスを民主化することを目指しています。

言語的多様性の強化

IndicLLMSuiteは、22のインド言語にまたがる豊富なデータリポジトリを含み、合計で2,510億トークンと7,480万の指示応答ペアに達します。この広範なコーパスは、キュレーションされたURL、多言語コーパス、大規模な翻訳など、さまざまなソースから注意深く収集されています。データ収集のこのような多様性は、堅牢な表現を保証し、言語モデルトレーニングにおける包摂性を促進します。

このスイートには、インド言語に特化した言語モデルの作成と洗練を容易にするために設計されたいくつかの必須コンポーネントが含まれています：

この基盤コンポーネントはIndicLLMSuiteの土台として機能し、多様な言語ソースから集約された膨大な事前トレーニングデータセットを提供します。22の言語にわたる2,510億トークンを持つSangrahaは、言語モデルを効果的にトレーニングするために必要な生素材を提供します。Setuは、インド言語のためにカスタムビルドされた洗練されたSparkベースの分散パイプラインです。この多用途のツールは、ウェブサイト、PDF、動画など、多種多様なソースからのコンテンツ抽出を簡素化します。クリーニング、フィルタリング、毒性除去、重複排除のための組み込み機能により、抽出されたデータの整合性と品質が保証されます。

IndicAlign-Instructは、20の言語にわたる7,470万のプロンプト応答ペアの包括的なコレクションを導入します。これらのペアは、既存の指示微調整（IFT）データセットのコンパイル、英語データセットの翻訳、インド中心のWikipedia記事からの議論の生成、Anudeshプラットフォームを通じたクラウドソーシングなど、多様な方法論を使用して注意深くキュレーションされています。さらに、IndoWordNetから抽出された新しいIFTデータセットがスイートのリソースを豊かにし、モデルの言語および文法学習を促進します。

このコンポーネントは、123K組の有害なプロンプトと無害なレスポンスのペアで構成されたキュレーション済みデータセットを提供することで、言語モデルにおける安全なアライメントという重要な側面にアプローチします。オープンソースの英語LLMを活用し、14のインド言語への翻訳を行うことで、IndicAlign–Toxicはインド言語モデルの安全性と信頼性を高めます。

言語技術における協力的取り組み

IndicLLMSuiteの発表は、インドのAIエコシステム内での言語技術の発展に向けた協力的な取り組みを浮き彫りにします。Sarvam AIおよびIITマドラスと提携し、AI4Bharatは最近、IndicVoicesを発表しました。これは、音声認識アプリケーションにおける包括性と多様性を促進することを目的とした包括的な音声データセットです。145のインドの地域と22の言語にわたる16,237人の話者による7,348時間の自然な音声を含むIndicVoicesは、IndicLLMSuiteの取り組みを補完し、インドの言語生態系を豊かにします。

IndicLLMSuiteの導入は、インドにおける包括的な言語技術開発への旅路における重要な節目をマークします。リソースへのアクセスを民主化し、利害関係者間の協力を促進することで、AI4Bharatは言語的多様性の促進と、デジタル時代におけるインド言語のエンパワーメントへのコミットメントを強化しています。NLPの分野が絶えず進化していく中で、IndicLLMSuiteのようなイニシアチブは革新と進歩の触媒として機能し、より包括的でアクセスしやすい言語的未来への道を開きます。