Google Translate добавил поддержку 110 новых языков

В четверг компания Google объявила о добавлении поддержки 110 новых языков в свое приложение Google Translate с помощью искусственного интеллекта. Сервис будет доступен на смартфонах и в веб-версии и поможет людям по всему миру.

Читайте также: Google DeepMind разработала V2A, которая создает звук для видео, созданных с помощью ИИ.

До нынешнего обновления Google Translate поддерживал 133 различных языка, но с добавлением новых языков компания расширила свой сервис до 243. Четверть новых языков имеют африканское происхождение. Наиболее заметные новые языки включают афарский, кантонский, пенджабский и ток-писин.

PaLM2 может эффективно переводить языки, находящиеся в близком родстве

Это самый большой приток новых языков после предыдущего масштабного добавления в мае 2022 года, для которого компания использовала технологию машинного обучения с нулевым количеством примеров. Google использует свою модель PaLM2 для обучения/перевода, основанную на технологии обучения с нулевым количеством примеров. Благодаря этой технологии модели не нужно обучаться на примерах, что позволяет ускорить процесс обучения.

Позже, в 2022 году, Google объявила о своей инициативе «1000 языков» для наиболее распространенных в мире языков. Google заявила, что ее большая языковая модель (LLM) PaLM2 помогает более эффективно переводить близкородственные языки. Старший инженер-программист Google Translate, Исаак Касвелл, сказал:

«[PaLM2] — ключевой элемент головоломки, помогающий Translate более эффективно изучать языки, тесно связанные друг с другом, включая языки, близкие к хинди, такие как авадхи и марвади»

Он добавил, что сейшельский креольский и маврикийский креольский языки близки к французским креольским, которые также переводятся с помощью PaLM2. Та же модель ИИ использовалась для создания чат-бота Bard, который впоследствии превратился в Gemini, но теперь использует другую модель. PaLM2 был обучен на огромных наборах данных, содержащих 250 миллиардов параметров. 

Google Translate добавит больше языков

PaLM2 — это продвинутая модель искусственного интеллекта, которая свободно обрабатывает письменные тексты, что позволяет ей справляться с лингвистическими задачами. Однако модели не хватает возможности обрабатывать аудио или визуальные данные. Google заявила, что выбрала «наиболее распространенные варианты каждого языка», поскольку было сложно решить, какие языки добавить. 

Компания заявила, что расширение охвата позволит удовлетворить потребности 8% населения мира, поскольку на выбранных языках говорят «более 614 миллионов человек». Кэсвелл отметил, что на некоторых языках говорят более 100 миллионов человек.

Читайте также: Благодаря машинному обучению Google Nose может стать реальностью.

Компания рассматривала более мелкие населенные пункты, добавляя языки, на которых говорят коренные общины с небольшим населением. Среди них есть и такие языки, для которых нет носителей, но предпринимаются «активные усилия по их возрождению»

Reddit Пользователь под ником stanley_fatmax прокомментировал обновление следующим образом:

«Впечатляет; на мой взгляд, это одно из действительно умных и полезных применений ИИ. Я рад, что они уделяют внимание Google Translate»

Однако пользователь Reddit также отметил, что большинство знакомых ему иностранцев сейчас используют альтернативный сервис под названием DeepL. Пользователь сказал, что Google Translate отстаёт, и компании следует работать над уже поддерживаемыми языками, а также добавлять новые.

Компания сообщила, что наиболее востребованным языком оказался кантонский, который часто пересекается с китайским. Получение данных для обучения на кантонском языке было затруднено из-за его сходства с письменностью мандаринского диалекта. Другой пример — мэнский язык с острова Мэн, который вымер в 1974 году со смертью последнего носителя. С тех пор язык был возрожден, и теперь на нем говорят тысячи людей по всему острову. Google заявила, что продолжит добавлять новые языки в течение следующих нескольких дней.

Репортаж Аамира Шейха для издания Cryptopolitan