AI4Bharat, 인도어 언어 모델 육성을 위한 IndicLLMSuite 출시

언어 모델 학습 분야에서 인도어 언어의 표현력을 강화하기 위한 중요한 한 걸음을 내딛으며, AI4Bharat은 IndicLLMSuite를 출시했습니다. 이 포괄적인 리소스 스위트는 언어 모델(LLM) 개발 과정에서 저자원 및 중자원 언어가 직면한 과제들을 해결하기 위해 특별히 설계되었습니다. 이 이니셔티브는 다양한 언어적 환경 전반에 걸쳐 고급 NLP 기술에 대한 접근을 민주화하는 것을 목표로 합니다.

언어적 다양성 강화

IndicLLMSuite는 22개의 인도 언어를 아우르는 방대한 데이터 저장소를 포함하며, 총 2,510억 개의 토큰과 7,480만 개의 지시-응답 쌍으로 구성되어 있습니다. 이 광범위한 코퍼스는 선별된 URL, 다국어 코퍼스, 대규모 번역 등 다양한 출처에서 신중하게 수집되었습니다. 이러한 데이터 수집의 다양성은 견고한 표현을 보장하고 언어 모델 학습에서 포용성을 촉진합니다.

이 스위트는 인도 언어에 맞춰진 언어 모델의 생성과 정제를 용이하게 하기 위해 설계된 여러 필수 구성 요소로 구성되어 있습니다.

이 기초 구성 요소는 IndicLLMSuite의 토대를 제공하며, 다양한 언어적 출처에서 집계된 방대한 사전 학습 데이터를 제공합니다. 22개 언어에 걸쳐 2,510억 개의 토큰을 포함하는 Sangraha는 언어 모델을 효과적으로 훈련하는 데 필요한 원료를 제공합니다. Setu는 인도 언어를 위해 맞춤 제작된 정교한 Spark 기반 분산 파이프라인을 제시합니다. 이 다재다능한 도구는 웹사이트, PDF, 비디오를 포함한 다양한 출처에서 콘텐츠를 추출하는 과정을 간소화합니다. 내장된 정리, 필터링, 유해성 제거 및 중복 제거 기능은 추출된 데이터의 무결성과 품질을 보장합니다.

IndicAlign-Instruct는 20개 언어에 걸쳐 7,470만 개의 프롬프트-응답 쌍을 포괄적으로 수집합니다. 이러한 쌍은 기존 지시 미세 조정(IFT) 데이터셋의 컴파일, 영어 데이터셋의 번역, 인도 중심 위키백과 기사에서 토론 생성, Anudesh 플랫폼을 통한 크라우드소싱 등 다양한 방법론을 사용하여 신중하게 수집되었습니다. 또한, IndoWordNet에서 파생된 새로운 IFT 데이터셋은 스위트의 자원을 풍부하게 하여 모델의 언어 및 문법 학습을 향상시킵니다.

이 구성 요소는 유해한 프롬프트와 무해한 응답으로 구성된 123,000개의 쌍으로 이루어진 선별된 데이터를 제공하여 언어 모델의 안전 정렬이라는 중요한 측면을 다룹니다. 오픈 소스 영어 LLM과 14개 인도 언어로의 번역을 활용하여 IndicAlign–Toxic은 인도 언어 모델의 안전성과 신뢰성을 향상시킵니다.

언어 기술 분야의 협력적 노력

IndicLLMSuite의 공개는 인도 AI 생태계 내에서 언어 기술 발전을 위한 협력적 노력을 강조합니다. Sarvam AI 및 IIT 마드라스와 파트너십을 맺은 AI4Bharat은 최근 음성 인식 애플리케이션에서 포용성과 다양성을 촉진하기 위한 포괄적인 음성 데이터셋인 IndicVoices를 출시했습니다. 145개 인도 지역과 22개 언어의 16,237명 화자로부터 수집된 7,348시간의 자연 음성을 갖춘 IndicVoices는 인도 언어 생태계를 풍부하게 하는 IndicLLMSuite의 노력을 보완합니다.

IndicLLMSuite의 도입은 인도에서 포용적인 언어 기술 개발을 향한 여정에서 중요한 전환점을 의미합니다. 자원에 대한 접근을 민주화하고 이해관계자 간의 협력을 촉진함으로써 AI4Bharat은 디지털 시대에 언어적 다양성을 장려하고 인도 언어를 강화하겠다는 자신의 의지를 재확인합니다. NLP의 지형이 계속 진화함에 따라 IndicLLMSuite와 같은 이니셔티브는 혁신과 진전의 촉매제 역할을 하며, 더 포용적이고 접근 가능한 언어적 미래를 위한 길을 열어나갑니다.