AI4Bharat presenta IndicLLMSuite per promuovere i modelli linguistici indiani

In un passo significativo verso il miglioramento della rappresentanza delle lingue indiane nel campo dell'addestramento dei Language Model, AI4Bharat ha lanciato IndicLLMSuite. Questa suite completa di risorse è progettata per affrontare le sfide affrontate dalle lingue a risorse basse e medie nello sviluppo dei Language Models (LLM). L'iniziativa mira a democratizzare l'accesso alle tecnologie NLP avanzate attraverso un panorama linguistico diversificato.

Potenziare la diversità linguistica

IndicLLMSuite comprende un ricco repository di dati che spazia su 22 lingue indiane, per un totale impressionante di 251 miliardi di token e 74,8 milioni di coppie istruzione-risposta. Questo corpus estensivo è meticolosamente curato da varie fonti, inclusi URL curati, corpora multilingue e traduzioni su larga scala. Tale diversità nella raccolta dei dati garantisce una rappresentanza robusta e favorisce l'inclusività nell'addestramento dei modelli linguistici.

La suite comprende diversi componenti essenziali progettati per facilitare la creazione e il perfezionamento dei Language Model adattati alle lingue indiane:

Questo componente fondamentale funge da base di IndicLLMSuite, offrendo un vasto dataset di pre-addestramento aggregato da fonti linguistiche diverse. Con 251 miliardi di token che spaziano su 22 lingue, Sangraha fornisce la materia prima necessaria per addestrare efficacemente i modelli linguistici. Setu presenta una pipeline distribuita sofisticata basata su Spark, costruita su misura per le lingue indiane. Questo strumento versatile semplifica l'estrazione di contenuti da una molteplicità di fonti, inclusi siti web, PDF e video. Le sue funzionalità integrate per la pulizia, il filtraggio, la rimozione della tossicità e la deduplicazione garantiscono l'integrità e la qualità dei dati estratti.

IndicAlign-Instruct introduce una raccolta completa di 74,7 milioni di coppie prompt-risposta su 20 lingue. Queste coppie sono meticolosamente curate utilizzando metodologie diverse, inclusa la compilazione di dataset esistenti di Instruction Fine-Tuning (IFT), la traduzione di dataset inglesi, la generazione di discussioni da articoli di Wikipedia incentrati sull'India e il crowd-sourcing attraverso la piattaforma Anudesh. Inoltre, un nuovo dataset IFT tratto da IndoWordNet arricchisce le risorse della suite, facilitando un apprendimento linguistico e grammaticale migliorato per i modelli.

Questo componente affronta l'aspetto cruciale dell'allineamento di sicurezza nei Language Model fornendo un dataset curato composto da 123K coppie di prompt tossici e risposte non tossiche. Sfruttando LLM inglesi open-source e la traduzione in 14 lingue indiane, IndicAlign–Toxic migliora la sicurezza e l'affidabilità dei Language Model indiani.

Sforzi collaborativi nella tecnologia linguistica

La presentazione di IndicLLMSuite sottolinea uno sforzo collaborativo all'interno del panorama dell'IA indiana per avanzare nello sviluppo delle tecnologie linguistiche. In collaborazione con Sarvam AI e IIT Madras, AI4Bharat ha recentemente introdotto IndicVoices, un dataset vocale completo mirato a promuovere l'inclusività e la diversità nelle applicazioni di riconoscimento vocale. Con 7348 ore di discorso naturale provenienti da 16237 parlanti in 145 distretti indiani e 22 lingue, IndicVoices integra gli sforzi di IndicLLMSuite nell'arricchimento dell'ecosistema linguistico dell'India.

L'introduzione di IndicLLMSuite segna un momento cruciale nel viaggio verso lo sviluppo inclusivo della tecnologia linguistica in India. Democratizzando l'accesso alle risorse e favorendo la collaborazione tra gli stakeholder, AI4Bharat rafforza il suo impegno a promuovere la diversità linguistica e a potenziare le lingue indiane nell'era digitale. Man mano che il panorama dell'NLP continua a evolversi, iniziative come IndicLLMSuite fungono da catalizzatori per l'innovazione e il progresso, aprendo la strada a un futuro linguistico più inclusivo e accessibile.