AI4Bharat stellt IndicLLMSuite vor, um indische Sprachmodelle zu fördern

Mit einem bedeutenden Schritt zur Verbesserung der Repräsentation indischer Sprachen im Bereich des Language Model Trainings hat AI4Bharat die IndicLLMSuite gestartet. Diese umfassende Suite von Ressourcen ist darauf ausgelegt, die Herausforderungen zu bewältigen, mit denen Sprachen mit geringen und mittleren Ressourcen bei der Entwicklung von Language Models (LLMs) konfrontiert sind. Die Initiative zielt darauf ab, den Zugang zu fortschrittlichen NLP-Technologien in einer vielfältigen linguistischen Landschaft zu demokratisieren.

Förderung der sprachlichen Vielfalt

Die IndicLLMSuite umfasst ein reichhaltiges Datenrepository, das sich auf 22 indische Sprachen erstreckt und insgesamt beeindruckende 251 Milliarden Tokens sowie 74,8 Millionen Instruction-Response-Paare umfasst. Dieser umfangreiche Korpus wurde sorgfältig aus verschiedenen Quellen kuratiert, darunter kuratierte URLs, mehrsprachige Korpora und großflächige Übersetzungen. Eine solche Vielfalt bei der Datenerhebung gewährleistet eine robuste Repräsentation und fördert die Inklusion im Training von Sprachmodellen.

Die Suite besteht aus mehreren wesentlichen Komponenten, die darauf ausgelegt sind, die Erstellung und Verfeinerung von Language Models zu erleichtern, die auf indische Sprachen zugeschnitten sind:

Diese grundlegende Komponente dient als Fundament der IndicLLMSuite und bietet einen riesigen Pre-Training-Datensatz, der aus verschiedenen linguistischen Quellen aggregiert wurde. Mit 251 Milliarden Tokens, die sich auf 22 Sprachen erstrecken, bietet Sangraha das Rohmaterial, das für das effektive Training von Sprachmodellen erforderlich ist. Setu präsentiert einen ausgeklügelten, auf Spark basierenden verteilten Pipeline, die speziell für indische Sprachen entwickelt wurde. Dieses vielseitige Tool vereinfacht die Extraktion von Inhalten aus einer Vielzahl von Quellen, einschließlich Websites, PDFs und Videos. Die integrierten Funktionen zur Bereinigung, Filterung, Entfernung von Toxizität und Deduplizierung gewährleisten die Integrität und Qualität der extrahierten Daten.

IndicAlign-Instruct führt eine umfassende Sammlung von 74,7 Millionen Prompt-Response-Paaren in 20 Sprachen ein. Diese Paare wurden sorgfältig mit verschiedenen Methoden kuratiert, einschließlich der Zusammenstellung bestehender Instruction Fine-Tuning (IFT)-Datensätze, der Übersetzung englischer Datensätze, der Generierung von Diskussionen aus indabezogenen Wikipedia-Artikeln und der Crowd-Sourcing über die Anudesh-Plattform. Darüber hinaus bereichert ein neuer IFT-Datensatz aus IndoWordNet die Ressourcen der Suite und erleichtert das verbesserte Sprachen- und Grammatiklernen für Modelle.

Diese Komponente adressiert den entscheidenden Aspekt der Sicherheitsausrichtung in Language Models, indem sie einen kuratierten Datensatz mit 123.000 Paaren aus toxischen Prompts und nicht-toxischen Antworten bereitstellt. Durch die Nutzung von Open-Source-Englisch-LLMs und Übersetzung in 14 indische Sprachen verbessert IndicAlign–Toxic die Sicherheit und Zuverlässigkeit indischer Sprachmodelle.

Kooperative Bemühungen in der Sprachtechnologie

Die Vorstellung der IndicLLMSuite unterstreicht eine kooperative Anstrengung innerhalb der indischen KI-Landschaft, um die Entwicklung von Sprachtechnologien voranzutreiben. In Partnerschaft mit Sarvam AI und der IIT Madras hat AI4Bharat kürzlich IndicVoices vorgestellt, einen umfassenden Sprachdatensatz, der darauf abzielt, Inklusion und Vielfalt in Spracherkennungsanwendungen zu fördern. Mit 7.348 Stunden natürlicher Sprache von 16.237 Sprechern aus 145 indischen Distrikten und 22 Sprachen ergänzt IndicVoices die Bemühungen der IndicLLMSuite bei der Bereicherung des linguistischen Ökosystems Indiens.

Die Einführung der IndicLLMSuite markiert einen entscheidenden Moment auf dem Weg zu einer inklusiven Entwicklung von Sprachtechnologien in Indien. Durch die Demokratisierung des Zugangs zu Ressourcen und die Förderung der Zusammenarbeit zwischen den Beteiligten unterstreicht AI4Bharat sein Engagement für die Förderung der sprachlichen Vielfalt und die Stärkung indischer Sprachen im digitalen Zeitalter. Da sich die Landschaft der NLP weiterhin entwickelt, dienen Initiativen wie die IndicLLMSuite als Katalysatoren für Innovation und Fortschritt und ebnen den Weg für eine inklusivere und zugänglichere linguistische Zukunft.