AI4Bharat推出IndicLLMSuite以促进印度语言模型发展

在增强印度语言在语言模型训练领域代表性方面迈出重要一步，AI4Bharat推出了IndicLLMSuite。这一全面的资源套件旨在解决低资源和中资源语言在开发语言模型（LLMs）时面临的挑战。该倡议旨在使各种语言景观中的先进NLP技术访问民主化。

赋能语言多样性

IndicLLMSuite包含一个丰富的数据仓库，涵盖22种印度语言，总计令人印象深刻的2510亿个token和7480万个指令-响应对。这个庞大的语料库是从各种来源精心策划的，包括策划的URL、多语言语料库和大规模翻译。这种数据收集的多样性确保了强大的代表性，并促进了语言模型训练中的包容性。

该套件包含几个基本组件，旨在促进针对印度语言的语言模型的创建和完善：

这一基础组件作为IndicLLMSuite的基石，提供从多种语言来源聚合的大规模预训练数据集。Sangraha拥有跨越22种语言的2510亿个token，为有效训练语言模型提供了必要的原材料。Setu呈现了一个复杂的基于Spark的分布式管道，专为印度语言定制。这个多功能工具简化了从网站、PDF和视频等多种来源提取内容的过程。其内置的清洁、过滤、毒性去除和去重功能确保了提取数据的完整性和质量。

IndicAlign-Instruct引入了涵盖20种语言的7470万个提示-响应对的全面集合。这些配对使用多种方法精心策划，包括汇编现有的指令微调（IFT）数据集、翻译英语数据集、从以印度为中心的维基百科文章生成讨论，以及通过Anudesh平台众包。此外，源自IndoWordNet的新型IFT数据集丰富了套件的资源，促进了模型的语言和语法学习。

该组件通过提供包含12.3万个有毒提示和非有毒响应对的精选数据集，解决了语言模型中安全对齐的关键方面。利用开源英语LLM和翻译成14种印度语言，IndicAlign–Toxic增强了印度语言模型的安全性和可靠性。

语言技术中的协作努力

IndicLLMSuite的发布凸显了印度AI领域内推进语言技术发展的协作努力。AI4Bharat与Sarvam AI和IIT Madras合作，最近推出了IndicVoices，这是一个全面的语音数据集，旨在促进语音识别应用中的包容性和多样性。IndicVoices拥有来自145个印度地区和22种语言的16237名发言人的7348小时自然语音，补充了IndicLLMSuite在丰富印度语言生态系统方面的努力。

IndicLLMSuite的推出标志着印度包容性语言技术开发旅程中的一个关键时刻。通过使资源访问民主化并促进利益相关者之间的合作，AI4Bharat重申了其促进语言多样性和在数字时代赋能印度语言的承诺。随着NLP格局的不断演变，IndicLLMSuite等倡议成为创新和进步的催化剂，为更加包容和可访问的语言未来铺平道路。