AI4Bharat Apresenta IndicLLMSuite para Fomentar Modelos de Linguagem Indianos

Em um passo significativo para melhorar a representação dos idiomas indianos no treinamento de Modelos de Linguagem, a AI4Bharat lançou o IndicLLMSuite. Este conjunto abrangente de recursos é adaptado para abordar os desafios enfrentados por idiomas de recursos baixos e médios no desenvolvimento de Modelos de Linguagem (LLMs). A iniciativa visa democratizar o acesso a tecnologias avançadas de PLN em um cenário linguístico diverso.

Empoderando a diversidade linguística

O IndicLLMSuite abrange um rico repositório de dados abrangendo 22 idiomas indianos, totalizando impressionantes 251 bilhões de tokens e 74,8 milhões de pares de instrução-resposta. Este extenso corpus é meticulosamente curado de várias fontes, incluindo URLs curados, corpora multilíngues e traduções em larga escala. Tal diversidade na coleta de dados garante uma representação robusta e promove a inclusão no treinamento de modelos de linguagem.

O conjunto compreende vários componentes essenciais projetados para facilitar a criação e o refinamento de Modelos de Linguagem adaptados aos idiomas indianos:

Este componente fundamental serve como a base do IndicLLMSuite, oferecendo um vasto conjunto de dados de pré-treinamento agregado de diversas fontes linguísticas. Com 251 bilhões de tokens abrangendo 22 idiomas, o Sangraha fornece a matéria-prima necessária para treinar modelos de linguagem de forma eficaz. O Setu apresenta um pipeline distribuído sofisticado baseado em Spark, construído sob medida para idiomas indianos. Esta ferramenta versátil simplifica a extração de conteúdo de uma multitude de fontes, incluindo sites, PDFs e vídeos. Suas funcionalidades integradas de limpeza, filtragem, remoção de toxicidade e deduplicação garantem a integridade e a qualidade dos dados extraídos.

O IndicAlign-Instruct introduz uma coleção abrangente de 74,7 milhões de pares de prompt-resposta em 20 idiomas. Esses pares são meticulosamente curados usando metodologias diversas, incluindo a compilação de conjuntos de dados existentes de Ajuste Fino de Instrução (IFT), tradução de conjuntos de dados em inglês, geração de discussões a partir de artigos da Wikipedia focados na Índia e crowdsourcing através da plataforma Anudesh. Além disso, um novo conjunto de dados IFT derivado do IndoWordNet enriquece os recursos do conjunto, facilitando o aprendizado aprimorado de linguagem e gramática para os modelos.

Este componente aborda o aspecto crucial do alinhamento de segurança em Modelos de Linguagem, fornecendo um conjunto de dados curado composto por 123 mil pares de prompts tóxicos e respostas não tóxicas. Aproveitando LLMs de código aberto em inglês e tradução para 14 idiomas indianos, o IndicAlign–Toxic melhora a segurança e a confiabilidade dos Modelos de Linguagem Indianos.

Esforços colaborativos em tecnologia de linguagem

A revelação do IndicLLMSuite destaca um esforço colaborativo dentro do cenário de IA indiano para avançar o desenvolvimento de tecnologias de linguagem. Parceria com a Sarvam AI e o IIT Madras, a AI4Bharat recentemente introduziu o IndicVoices, um conjunto abrangente de dados de fala destinado a promover a inclusão e a diversidade em aplicativos de reconhecimento de fala. Com 7348 horas de fala natural de 16237 falantes em 145 distritos indianos e 22 idiomas, o IndicVoices complementa os esforços do IndicLLMSuite no enriquecimento do ecossistema linguístico da Índia.

A introdução do IndicLLMSuite marca um momento crucial na jornada em direção ao desenvolvimento inclusivo de tecnologia de linguagem na Índia. Democratizando o acesso a recursos e promovendo a colaboração entre as partes interessadas, a AI4Bharat reforça seu compromisso de promover a diversidade linguística e capacitar os idiomas indianos na era digital. À medida que o cenário do PLN continua a evoluir, iniciativas como o IndicLLMSuite servem como catalisadores de inovação e progresso, pavimentando o caminho para um futuro linguístico mais inclusivo e acessível.