AI4Bharat présente IndicLLMSuite pour favoriser les modèles de langues indiennes

Dans une étape significative vers l'amélioration de la représentation des langues indiennes dans le domaine de l'entraînement des modèles de langage, AI4Bharat a lancé IndicLLMSuite. Cette suite complète de ressources est conçue pour répondre aux défis rencontrés par les langues à ressources faibles et moyennes dans le développement des modèles de langage (LLM). L'initiative vise à démocratiser l'accès aux technologies avancées de TALN (traitement automatique du langage naturel) dans un paysage linguistique diversifié.

Renforcer la diversité linguistique

IndicLLMSuite englobe un riche référentiel de données couvrant 22 langues indiennes, totalisant un impressionnant 251 milliards de tokens et 74,8 millions de paires instruction-réponse. Ce corpus étendu est méticuleusement sélectionné à partir de diverses sources, y compris des URL sélectionnées, des corpus multilingues et de grandes traductions à grande échelle. Une telle diversité dans la collecte de données assure une représentation robuste et favorise l'inclusivité dans l'entraînement des modèles de langage.

La suite comprend plusieurs composants essentiels conçus pour faciliter la création et le perfectionnement des modèles de langage adaptés aux langues indiennes :

Ce composant fondamental sert de socle à IndicLLMSuite, offrant un vaste ensemble de données d'apprentissage préalable agrégé à partir de sources linguistiques diverses. Avec 251 milliards de tokens couvrant 22 langues, Sangraha fournit la matière brute nécessaire à l'entraînement efficace des modèles de langage. Setu présente un pipeline distribué sophistiqué basé sur Spark, conçu spécifiquement pour les langues indiennes. Cet outil polyvalent rationalise l'extraction de contenu à partir de multiples sources, y compris les sites web, les PDF et les vidéos. Ses fonctionnalités intégrées de nettoyage, de filtrage, de suppression de la toxicité et de déduplication assurent l'intégrité et la qualité des données extraites.

IndicAlign-Instruct introduit une collection complète de 74,7 millions de paires invite-réponse sur 20 langues. Ces paires sont méticuleusement sélectionnées à l'aide de diverses méthodologies, y compris la compilation d'ensembles de données existants d'ajustement fin des instructions (IFT), la traduction d'ensembles de données anglais, la génération de discussions à partir d'articles Wikipédia centrés sur l'Inde et le crowdsourcing via la plateforme Anudesh. De plus, un nouvel ensemble de données IFT tiré d'IndoWordNet enrichit les ressources de la suite, facilitant un apprentissage amélioré de la langue et de la grammaire pour les modèles.

Ce composant aborde l'aspect crucial de l'alignement de la sécurité dans les modèles de langage en fournissant un ensemble de données sélectionné comprenant 123 000 paires d'invites toxiques et de réponses non toxiques. En s'appuyant sur des LLM anglais open source et la traduction en 14 langues indiennes, IndicAlign–Toxic améliore la sécurité et la fiabilité des modèles de langage indiens.

Efforts collaboratifs dans la technologie linguistique

Le dévoilement d'IndicLLMSuite souligne un effort collaboratif au sein du paysage de l'IA indien pour faire progresser le développement des technologies linguistiques. En partenariat avec Sarvam AI et l'IIT Madras, AI4Bharat a récemment présenté IndicVoices, un ensemble complet de données vocales visant à favoriser l'inclusivité et la diversité dans les applications de reconnaissance vocale. Avec 7348 heures de parole naturelle provenant de 16237 locuteurs de 145 districts indiens et de 22 langues, IndicVoices complète les efforts d'IndicLLMSuite dans l'enrichissement de l'écosystème linguistique de l'Inde.

L'introduction d'IndicLLMSuite marque un moment charnière dans le chemin vers un développement inclusif des technologies linguistiques en Inde. En démocratisant l'accès aux ressources et en favorisant la collaboration entre les parties prenantes, AI4Bharat renforce son engagement à promouvoir la diversité linguistique et à autonomiser les langues indiennes à l'ère numérique. Alors que le paysage du TALN continue d'évoluer, des initiatives comme IndicLLMSuite servent de catalyseurs pour l'innovation et le progrès, ouvrant la voie à un avenir linguistique plus inclusif et accessible.