- AIツールの言語格差は、グローバルサウスにおける数十億人がこれらの進展から恩恵を受けることを妨げています。
- 低資源言語におけるデータの不足は、AIツールの効果性に対する主要な課題です。
- アフリカのスタートアップや研究者たちは、自国の言語向けにAI搭載ツールを開発する取り組みをリードし、言語的インクルージョンを促進しています。
ChatGPTやGoogle翻訳などのAI搭載ツールは、これらの技術でサポートされている言語を話す人々に素晴らしい機会を提供します。しかし、アフリカを含むグローバルサウスの何十億人もの人々は、母語のサポートの欠如により、これらの進歩から恩恵を受けることができません。この言語ギャップは、生成AIや翻訳サービスだけでなく、自動補完、文字起こしサービス、音声アシスタント、ソーシャルメディアのコンテンツモデレーションなどの他のツールにも影響を与えます。トレーニングデータの不足が、多くの言語、特にリソースが限られた言語におけるAIツールの機能制限の主な理由です。
リソースが限られた言語の課題
AIツールは膨大な量のトレーニングデータに基づいて動作し、数十億のウェブページで構成されるCommon Crawlデータセットは、言語モデルのトレーニングにとって重要なソースです。しかし、このデータセットは数少ない言語、特に英語によって支配されています。その結果、アムハラ語や他のアフリカ、アメリカ、オセアニアの言語は、Common Crawlの0.1％未満を占めています。このデータの不足は、ヒンディー語、アラビア語、ベンガル語などの主要言語を含む、リソースが限られた言語を話す人々にとってのAIツールの効果を妨げます。
AIトレーニングデータセットにおける異なる言語の表現の不均衡は明白です。例えば、約2,000万人が話すオランダ語は、アムハラ語よりもCommon Crawlで大幅に多くのデータを持っており、両言語には類似した話者がいます。この傾向はオランダ語に限らず、ヨーロッパの多くの言語がアジアやアフリカの多くの言語と比較して過剰に表現されています。
データ不足の克服
リソースが限られた言語のデータ不足に対処するため、研究者やスタートアップは自らの手で取り組みを進めています。一例として、アムハラ語やティグリニャ語などのエチオピアの言語向けに機械翻訳および音声技術の作成に焦点を当てているスタートアップのLesanがあります。Lesanのチームは、膨大なオンラインリソースに依存するのではなく、コミュニティと直接協力し、学生や言語愛好家の熱意を活用してデータを収集します。このプロセスには、高品質なデータセットの特定、それらのデジタル化および翻訳、および機械学習トレーニングのための元のバージョンと翻訳されたバージョンの整列が含まれます。
アフリカのスタートアップがAI技術を受容
Lesanのアプローチは、母語向けにAI搭載ツールを開発するアフリカのスタートアップの間で拡大している傾向を反映しています。これらのプロジェクトは、小さなキュレーションされたデータセットで有用なモデルを構築できることを示しており、単一の巨大なモデルだけが成功への道であるという概念に挑戦しています。アフリカの研究者や起業家によるイニシアチブは、技術の所有権を促進し、経済的恩恵がコミュニティ内に留まることを保証します。
言語的多様性のための世界的な取り組み
アフリカ以外でも、世界中の研究者がジャマイカ・パトワ、カタラン語、スーダン語、マオリ語など、デジタルフットプリントの小さな言語に取り組んでいます。Ethnologueによる重要な言語リソースのサポートにより、アムハラ語などの言語向けに機械翻訳ツール、スペルチェック、音声処理が利用可能になっています。しかし、何百万人もの話者がいる多くの言語はまだ十分なデジタルサポートを欠いており、何百万人もの人がAI搭載ツールを利用できません。
Distributed AI Research Institute (DAIR)、GhanaNLP、Masakhane、Hugging Face AI collectiveなどのイニシアチブは、コラボレーションと洞察の共有の力を示しています。研究者たちは、言語向けのソリューションを作成するために協力しており、AI技術をより広範な言語コミュニティにアクセス可能にしています。一部のテックジャイアントとは異なり、これらのイニシアチブはAIモデルと知識を自由に共有することで透明性を促進し、研究者が言語固有のソリューションを作成する力を強化しています。
AIツールにおける言語ギャップは、特にグローバルサウスの人々にとって何十億人もの人々に重大な課題をもたらします。リソースが限られた言語におけるデータの不足は、AI搭載ツールの機能を妨げ、多くの人々がこれらの技術から恩恵を受けることを防いでいます。しかし、革新的なアプローチ、コラボレーション、洞察の共有を通じて、アフリカおよび世界中の研究者やスタートアップは、言語ギャップを埋め、AIの進歩によって言語コミュニティを強化する上で進歩を遂げています。言語的多様性を優先し、多様な言語をサポートすることで、AIは言語に関係なくすべての人にとって変革的な力となる可能性があります。
暗号通貨のニュースを読むだけでなく、それを理解しましょう。ニュースレターに登録してください。無料です。
免責事項： ここに提供される情報は取引助言ではありません。Cryptopolitan.comは、このページに記載された情報に基づいて行われた投資について一切の責任を負いません。投資判断を下す前に、独立した調査および/または資格のある専門家への相談を強く推奨します。
ジョン・パーマー
John Murangiri氏は、市場分析のスキルを身につけてCryptopolitanに参加しました。John（通称JP）はナイロビ大学でマスコミュニケーションおよびメディア研究の学士号を取得し、これまでにInsideBitcoins.comやMetacoingraphで暗号資産市場の洞察を提供してきました。
