- AI 도구의 언어 격차는 글로벌 사우스의 수십억 사람들이 이러한 발전의 혜택을 받지 못하게 만듭니다.
- 저자원 언어에서의 데이터 부족은 AI 도구의 효과성에 대한 주요 과제입니다.
- 아프리카 스타트업과 연구자들은 모국어 기반 AI 도구 개발을 주도하며 언어적 포용성을 증진시키고 있습니다.
ChatGPT 및 Google Translate와 같은 AI 기반 도구는 이러한 기술이 지원하는 언어를 사용하는 사람들에게 놀라운 기회를 제공합니다. 그러나 아프리카를 포함한 글로벌 사우스의 수십억 사람들은 모국어 지원 부족으로 이러한 발전의 혜택을 받지 못합니다. 이 언어 격차는 생성형 AI 및 번역 서비스뿐만 아니라 자동 완성, 녹음 서비스, 음성 비서 및 소셜 미디어의 콘텐츠 검열과 같은 다른 도구에도 영향을 미칩니다. 훈련 데이터의 부족은 특히 저자원 언어를 포함한 많은 언어에서 AI 도구의 기능이 제한적인 주요 이유입니다.
저자원 언어의 과제
AI 도구는 방대한 양의 훈련 데이터를 기반으로 작동하며, 수십억 개의 웹 페이지로 구성된 Common Crawl 데이터셋은 언어 모델 훈련에 중요한 출처입니다. 그러나 이 데이터셋은 영어를 비롯한 몇몇 언어에 의해 지배되어 있습니다. 결과적으로 암하라어 및 기타 아프리카, 아메리카, 오세아니아 언어는 Common Crawl의 0.1% 미만으로 구성됩니다. 이러한 데이터 부족은 힌디어, 아랍어, 벵골어와 같은 주요 언어를 포함한 저자원 언어 화자에게 AI 도구의 효과를 저해합니다.
이 격차는 AI 훈련 데이터셋에서 다양한 언어의 표현에서 명확하게 드러납니다. 예를 들어, 약 2천만 명이 사용하는 네덜란드어는 암하라어보다 Common Crawl에서 훨씬 더 많은 데이터를 가지고 있으며, 두 언어는 모두 비슷한 모국어 화자를 보유하고 있습니다. 이러한 경향은 네덜란드어에 국한되지 않으며, 대부분의 아시아 및 아프리카 언어에 비해 과대Representation된 다양한 유럽 언어로 확장됩니다.
데이터 부족 극복
저자원 언어의 데이터 부족 문제를 해결하기 위해 연구자와 스타트업이 직접 나서고 있습니다. 예를 들어, 암하라어와 티그리냐어와 같은 에티오피아 언어를 위한 기계 번역 및 음성 기술에 집중하는 스타트업 Lesan이 있습니다. Lesan 팀은 방대한 온라인 자원에 의존하는 대신 커뮤니티와 직접 협력하여 학생들과 언어 애호가들의 열정을 활용하여 데이터를 수집합니다. 이 과정에는 고품질 데이터셋 식별, 디지털화 및 번역, 그리고 기계 학습 훈련을 위해 원본과 번역본을 정렬하는 작업이 포함됩니다.
아프리카 스타트업, AI 기술 수용
Lesan의 접근 방식은 아프리카 스타트업들이 모국어용 AI 기반 도구를 개발하는 데 있어 증가하는 트렌드를 반영합니다. 이러한 프로젝트들은 작은 선별된 데이터셋으로도 유용한 모델을 구축할 수 있음을 보여주며, 단일 거대한 모델만이 성공을 거두는 유일한 방법이라는 개념에 도전합니다. 아프리카 연구자들과 기업가들이 취한 조치는 기술에 대한 소유감을 조성하여 재정적 혜택이 커뮤니티 내에 머물도록 보장합니다.
언어 포용을 위한 글로벌 노력
아프리카를 넘어 전 세계 연구자들은 자메이카 파토아, 카탈루냐어, 수단어, 마오리어와 같이 디지털 발자국이 작은 언어들을 위해 작업하고 있습니다. Ethnologue의 필수 언어 자원 지원은 암하라어와 같은 언어에 기계 번역 도구, 맞춤법 검사 및 음성 처리가 제공됨을 나타냅니다. 그러나 수백만 명의 화자를 가진 많은 언어들이 여전히 충분한 디지털 지원을 받지 못해 수백만 명이 AI 기반 도구를 사용하지 못하고 있습니다.
분산형 AI 연구소(DAIR), 가나NLP, Masakhane, Hugging Face AI 콜렉티브와 같은 노력은 협력과 통찰력 공유의 힘을 보여줍니다. 연구자들은 자신의 언어를 위한 솔루션을 만들기 위해 함께 작업하며, AI 기술을 더 넓은 언어 커뮤니티에 접근 가능하게 만들고 있습니다. 일부 기술 거대 기업들과 달리 이러한 이니셔티브는 AI 모델과 지식을 자유롭게 공유함으로써 투명성을 촉진하고 연구자들이 언어별 솔루션을 만들 수 있도록 권한을 부여합니다.
AI 도구의 언어 격차는 특히 글로벌 사우스에 있는 수십억 사람들에게 상당한 도전을 제시합니다. 저자원 언어의 데이터 부족은 AI 기반 도구의 기능을 저해하여 많은 사람들이 이러한 기술의 혜택을 받지 못하게 합니다. 그러나 혁신적인 접근 방식, 협력 및 통찰력 공유를 통해 아프리카 및 전 세계의 연구자와 스타트업들이 언어 격차를 해소하고 AI 발전을 통해 언어 커뮤니티를 강화하기 위한 진전을 이루고 있습니다. 언어 포용을 우선시하고 다양한 언어를 지원함으로써 AI는 언어와 관계없이 모든 사람을 위한 변혁적인 힘이 될 수 있습니다.
가장 똑똑한 암호화폐 전문가들이 이미 우리 뉴스레터를 구독하고 있습니다. 참여하고 싶으신가요? 함께하세요.
면책 조항: 제공된 정보는 거래 조언이 아닙니다. Cryptopolitan.com은 이 페이지에 제공된 정보를 바탕으로 이루어진 어떠한 투자에 대해서도 책임을 지지 않습니다. 어떠한 투자 결정을 내리기 전에 반드시 독자적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
존 팰머
John Murangiri는 시장 분석 기술을 갖춘 채 Cryptopolitan에 합류했습니다. John(별명 JP)은 나이로비 대학교에서 대중 매체 및 미디어 연구 학사 학위를 취득했으며, 이전에는 InsideBitcoins.com과 Metacoingraph에 암호화폐 시장 인사이트를 기여한 바 있습니다.
