Как добросовестные исследователи преодолевают разрыв между ИИ и языками в Африке и за ее пределами

Инструменты на базе искусственного интеллекта, такие как ChatGPT и Google Translate, предлагают невероятные возможности для тех, кто говорит на языках, поддерживаемых этими технологиями. Однако миллиарды людей в странах Глобального Юга, включая Африку, не могут воспользоваться этими достижениями из-за отсутствия поддержки их родных языков. Этот языковой разрыв влияет не только на генеративный ИИ и услуги перевода, но и на другие инструменты, такие как автозаполнение, услуги транскрипции, голосовые помощники и модерация контента в социальных сетях. Дефицит обучающих данных является основной причиной ограниченной функциональности инструментов ИИ на многих языках, особенно на языках с низким уровнем ресурсности.

Проблема языков с низким уровнем ресурсности

Инструменты ИИ работают на основе огромных объемов обучающих данных, и набор данных Common Crawl, состоящий из миллиардов веб-страниц, является важным источником для обучения языковых моделей. Однако этот набор данных сильно доминируется несколькими языками, среди которых наиболее заметен английский. В результате такие языки, как амхарский и другие африканские, американские и океанийские языки, составляют менее 0,1% от Common Crawl. Этот дефицит данных затрудняет эффективность инструментов ИИ для носителей языков с низким уровнем ресурсности, включая такие крупные языки, как хинди, арабский и бенгальский.

Разрыв очевиден в представлении различных языков в обучающих наборах данных ИИ. Например, нидерландский язык, на котором говорят примерно 20 миллионов человек, имеет значительно больше данных в Common Crawl, чем амхарский, хотя оба языка имеют схожее количество носителей. Эта тенденция не ограничивается нидерландским языком, но распространяется на различные европейские языки, которые представлены непропорционально по сравнению с большинством азиатских и африканских языков.

Преодоление дефицита данных

Чтобы решить проблему нехватки данных для языков с низким уровнем ресурсности, исследователи и стартапы берут инициативу в свои руки. Одним из примеров является Lesan, стартап, ориентированный на создание технологий машинного перевода и распознавания речи для эфиопских языков, таких как амхарский и тигринья. Вместо того чтобы полагаться на обширные онлайн-ресурсы, команда Lesan сотрудничает непосредственно с сообществом, используя энтузиазм студентов и любителей языков для сбора данных. Процесс включает выявление высококачественных наборов данных, их оцифровку и перевод, а также сопоставление оригинальных и переведенных версий для обучения машинного обучения.

Африканские стартапы внедряют технологии ИИ

Подход Lesan отражает растущий тренд среди африканских стартапов, разрабатывающих инструменты на базе ИИ для своих родных языков. Эти проекты демонстрируют, что полезные модели можно создавать с использованием небольших, тщательно отобранных наборов данных, опровергая мнение о том, что единственный гигантский модель — единственный способ добиться успеха. Инициативы, предпринятые африканскими исследователями и предпринимателями, способствуют владению технологией, обеспечивая сохранение финансовых выгод внутри их сообществ.

Глобальные усилия по лингвистической инклюзии

За пределами Африки исследователи по всему миру работают над языками с меньшим цифровым следом, такими как ямайский патуа, каталанский, суданский и маори. Поддержка Ethnologue жизненно важных языковых ресурсов указывает на то, что инструменты машинного перевода, проверки орфографии и обработки речи доступны для таких языков, как амхарский. Однако многие языки с миллионами носителей все еще не имеют достаточной цифровой поддержки, оставляя миллионы людей без инструментов на базе ИИ.

Такие усилия, как Distributed AI Research Institute (DAIR), GhanaNLP, Masakhane и коллектив Hugging Face AI, демонстрируют силу сотрудничества и обмена знаниями. Исследователи работают вместе, чтобы создавать решения для своих языков, делая технологии ИИ доступными для более широкого круга лингвистических сообществ. В отличие от некоторых технологических гигантов, эти инициативы продвигают прозрачность, свободно делясь моделями ИИ и знаниями, давая исследователям возможность создавать решения, специфичные для языков.

Языковой разрыв в инструментах ИИ представляет собой значительную проблему для миллиардов людей, особенно тех, кто живет в странах Глобального Юга. Дефицит данных на языках с низким уровнем ресурсности затрудняет функциональность инструментов на базе ИИ, не позволяя многим воспользоваться этими технологиями. Однако благодаря инновационным подходам, сотрудничеству и обмену знаниями исследователи и стартапы из Африки и со всего мира делают шаги к преодолению языкового разрыва и расширению возможностей лингвистических сообществ с помощью достижений ИИ. Приоритет лингвистической инклюзии и поддержка разнообразных языков могут сделать ИИ трансформирующей силой для всех, независимо от их языка.