Прорыв в арабском ИИ открывает путь к инклюзивным языковым моделям

Появление платформ на основе больших языковых моделей, таких как ChatGPT, ознаменовало новую эру взаимодействий, powered by AI. Хотя в Ближневосточном регионе наблюдается всплеск интереса и развития технологий ИИ, модели, работающие с арабским языком, часто отставали. Однако совместные усилия Университета искусственного интеллекта имени Мохаммеда бин Зайда (MBZUAI) в Абу-Даби, базирующейся в Кремниевой долине компании Cerebras Systems и ОАЭ-овской компании G42 представили новаторский инструмент ИИ, разработанный специально для арабоязычных пользователей, под названием «Jais». Это развитие не только удовлетворяет потребности арабоязычных пользователей, но и имеет потенциал для продвижения больших языковых моделей в других недостаточно представленных языках в ландшафте ИИ.

Проблема арабских языковых моделей

Хотя существующие языковые модели, такие как ChatGPT и LLaMA от Meta, обладают некоторыми возможностями работы с арабским языком, они в основном обучались на английских данных из интернета. По словам Тимоти Болдуина, исполняющего обязанности проректора и профессора обработки естественного языка в MBZUAI, Jais пошел другим путем. Он использовал комбинацию англоязычных и арабоязычных наборов данных с сильным акцентом на контент из Ближнего Востока. Этот уникальный подход к обучению позволил Jais достичь уровня понимания и владения арабским языком, который отличает его от аналогов.

Доминирование языков латинского алфавита

Доминирование языков, использующих латинский алфавит, с английским языком во главе, в интернете привело к созданию более крупных наборов данных для этих языков. Мохаммед Солиман, директор по стратегическим технологиям и программе кибербезопасности в Институте Ближнего Востока, отмечает, что эксклюзивный доступ к инструментам ИИ для конкретных языков может поставить в невыгодное положение различные слои общества. Языковые модели, обученные преимущественно на английском языке, часто не обладают культурной осведомленностью и пониманием разнообразного опыта, что может негативно сказаться на пользовательском опыте.

Культурные нюансы и диалекты в арабском языке

Арабский язык, являясь шестым по распространенности языком в мире, представляет собой уникальную проблему из-за своего богатого разнообразия диалектов. Современный стандартный арабский язык обычно используется для официальных документов и формальной письменности, тогда как местные диалекты широко распространены в блогах и социальных сетях. Jais, благодаря разнообразным данным для обучения, способен ориентироваться между этими диалектами и понимать культурные нюансы, что делает его более универсальным и применимым в различных отраслях.

Расширение возможностей

По мере развития Jais команда разработчиков планирует расширить его возможности за пределы текстовых взаимодействий. Они намерены внедрить возможность работы с изображениями, графиками или табличными данными, открывая возможности для применения в интерпретации медицинских снимков, анализе инвестиционных данных или обработке спутниковых данных.

Ответственность в разработке ИИ

Jais, как и другие генеративные модели ИИ, использует настройку инструкций (instruction tuning) для предотвращения генерации вредоносного или токсичного контента. Он соблюдает местные правила и обычаи, обеспечивая соответствие ответов этическим и культурным нормам. Процесс разработки Jais включал диалог с правительством ОАЭ и другими институтами для обеспечения ответственного развертывания ИИ.

Региональные разработки в ОАЭ

Объединенные Арабские Эмираты находятся в авангарде разработки систем генеративного ИИ. В 2017 году они стали первой страной в мире, назначившей министра по делам ИИ. Примечательно, что крупнейшая в регионе генеративная языковая модель Falcon была представлена Советом по передовым технологическим исследованиям Абу-Даби и Институтом технологических инноваций (TII). Хотя Falcon в настоящее время доступен только на английском языке, он насчитывает 180 миллиардов параметров и превосходит конкурентов в тестах на рассуждение, программирование и знания. Как Falcon, так и Jais являются моделями с открытым исходным кодом, что делает их код доступным для использования или модификации любым желающим.

Потенциальное влияние ИИ на Ближний Восток

Согласно отчету PwC за 2018 год, Ближний Восток может получить до 320 миллиардов долларов выгоды от внедрения ИИ к 2030 году. Регион стремится развивать свои возможности в области ИИ, чтобы раскрыть весь потенциал этой технологии. Али Хоссейни, главный цифровой директор PwC на Ближнем Востоке, отмечает, что некоторые из лучших моделей ИИ с открытым исходным кодом были разработаны в регионе, приводя в качестве примеров Falcon и Jais.

Внедрение Jais, инструмента ИИ, адаптированного для арабоязычных пользователей, является значительным шагом вперед в преодолении языкового разрыва в ландшафте ИИ. Он не только удовлетворяет потребности арабоязычных пользователей, но и создает прецедент для разработки языковых моделей для недостаточно представленных языков по всему миру. Благодаря способности понимать диалекты и культурные нюансы, Jais готов оказать глубокое влияние на различные отрасли, способствуя дальнейшей эволюции ИИ на Ближнем Востоке и за его пределами. По мере дальнейшего развития технологий ИИ инклюзивность языковых моделей имеет решающее значение для обеспечения того, чтобы преимущества ИИ были доступны разнообразным группам населения по всему миру. Jais представляет собой многообещающий шаг в этом направлении, с потенциалом для появления новых новаторских разработок в будущем.