AI4Bharat presenta IndicLLMSuite para fomentar modelos de idiomas indios
- AI4Bharat lanza IndicLLMSuite, potenciando modelos de lenguaje en idiomas indios con 251 mil millones de tokens y 74,8 millones de pares instrucción-respuesta.
- La suite incluye Sangraha para agregación de datos, Setu para extracción de contenido e IndicAlign para pares de prompt-respuesta.
- La colaboración con Sarvam AI y el IIT Madras presenta IndicVoices, enriqueciendo el panorama lingüístico indio con 7348 horas de habla natural.
En un paso significativo hacia la mejora de la representación de los idiomas indios en el ámbito del entrenamiento de Modelos de Lenguaje, AI4Bharat ha lanzado IndicLLMSuite. Este conjunto integral de recursos está diseñado para abordar los desafíos que enfrentan los idiomas de recursos bajos y medios en el desarrollo de Modelos de Lenguaje (LLM). La iniciativa tiene como objetivo democratizar el acceso a tecnologías avanzadas de PLN en un paisaje lingüístico diverso.
Empoderando la diversidad lingüística
IndicLLMSuite abarca un rico repositorio de datos que abarca 22 idiomas indios, totalizando un impresionante 251 mil millones de tokens y 74,8 millones de pares de instrucción-respuesta. Este extenso corpus está meticulosamente curado de varias fuentes, incluidas URLs curadas, corpora multilingües y traducciones a gran escala. Tal diversidad en la recopilación de datos asegura una representación sólida y fomenta la inclusión en el entrenamiento de modelos de lenguaje.
El conjunto comprende varios componentes esenciales diseñados para facilitar la creación y refinamiento de Modelos de Lenguaje adaptados a los idiomas indios:
Este componente fundamental sirve como la base de IndicLLMSuite, ofreciendo un vasto conjunto de datos de preentrenamiento agregado de diversas fuentes lingüísticas. Con 251 mil millones de tokens que abarcan 22 idiomas, Sangraha proporciona la materia prima necesaria para entrenar modelos de lenguaje de manera efectiva. Setu presenta un pipeline distribuido sofisticado basado en Spark, construido a medida para idiomas indios. Esta herramienta versátil agiliza la extracción de contenido de una multitud de fuentes, incluidos sitios web, PDFs y videos. Sus funcionalidades integradas para limpieza, filtrado, eliminación de toxicidad y deduplicación aseguran la integridad y calidad de los datos extraídos.
IndicAlign-Instruct introduce una colección integral de 74,7 millones de pares de prompt-respuesta en 20 idiomas. Estos pares están meticulosamente curados utilizando diversas metodologías, incluida la compilación de conjuntos de datos existentes de Ajuste Fino de Instrucciones (IFT), traducción de conjuntos de datos en inglés, generación de discusiones a partir de artículos de Wikipedia centrados en India y crowdsourcing a través de la plataforma Anudesh. Además, un nuevo conjunto de datos IFT extraído de IndoWordNet enriquece los recursos del conjunto, facilitando un mejor aprendizaje del idioma y la gramática para los modelos.
Este componente aborda el aspecto crucial de la alineación de seguridad en los Modelos de Lenguaje mediante la provisión de un conjunto de datos curado que comprende 123.000 pares de indicaciones tóxicas y respuestas no tóxicas. Aprovechando modelos de lenguaje de código abierto en inglés y su traducción a 14 idiomas indios, IndicAlign–Toxic mejora la seguridad y fiabilidad de los Modelos de Lenguaje en idiomas indios.
Esfuerzos colaborativos en tecnología lingüística
El lanzamiento de IndicLLMSuite subraya un esfuerzo colaborativo dentro del panorama de la IA en India para avanzar en el desarrollo de tecnologías lingüísticas. En colaboración con Sarvam AI y el IIT Madras, AI4Bharat presentó recientemente IndicVoices, un conjunto de datos exhaustivo de voz destinado a fomentar la inclusión y la diversidad en las aplicaciones de reconocimiento de voz. Con 7.348 horas de habla natural de 16.237 hablantes de 145 distritos indios y 22 idiomas, IndicVoices complementa los esfuerzos de IndicLLMSuite para enriquecer el ecosistema lingüístico de la India.
La introducción de IndicLLMSuite marca un momento crucial en el camino hacia el desarrollo inclusivo de la tecnología lingüística en la India. Al democratizar el acceso a los recursos y fomentar la colaboración entre las partes interesadas, AI4Bharat reafirma su compromiso con la promoción de la diversidad lingüística y el empoderamiento de los idiomas indios en la era digital. A medida que el panorama del PLN sigue evolucionando, iniciativas como IndicLLMSuite actúan como catalizadores de innovación y progreso, allanando el camino hacia un futuro lingüístico más inclusivo y accesible.
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
John Palmer
John Murangiri llegó a Cryptopolitan con habilidades en análisis de mercado. John (también conocido como JP) se graduó de la Universidad de Nairobi con un título de licenciatura en comunicación masiva y estudios de medios. Anteriormente, ha contribuido con perspectivas del mercado de criptomonedas a InsideBitcoins.com y Metacoingraph.
