Как способность Voicebox от Meta к модификации превосходит предыдущие диффузионные модели

Исследователи Meta AI достигли прорывного достижения в области генеративного ИИ для речи с представлением Voicebox. Эта передовая модель обладает уникальной способностью обобщать различные задачи генерации речи, превосходя предыдущие достижения. Voicebox использует метод, называемый Flow Matching (сопоставление потоков), который превосходит диффузионные модели и позволяет модели изменять любую часть данного аудиосэмпла. Благодаря выдающимся результатам в области разборчивости, сходства аудио и универсальности задач, Voicebox представляет собой значительный прорыв в моделях генерации речи.

Новый подход к генерации речи

Существующие синтезаторы речи имеют ограничения, главным образом из-за их зависимости от тщательно подготовленных обучающих данных. Voicebox преодолевает это ограничение, опираясь на модель Flow Matching, что позволяет ему обучаться на сырых аудиоданных и сопровождающей транскрипции. Обучаясь на более чем 50 000 часах записанной речи и транскриптов аудиокниг из общественного достояния на нескольких языках, Voicebox может предсказывать и генерировать речевые сегменты на основе контекста окружающего аудио и транскрипта. Этот инновационный подход улучшает способность модели генерировать речь в середине аудиозаписи без необходимости воссоздания всего входного сигнала.

Разнообразные приложения Voicebox

Возможности Voicebox распространяются на различные задачи генерации речи, демонстрируя его универсальность и потенциальное влияние.

Синтез речи в контексте (in-context text-to-speech synthesis)

Voicebox может синтезировать речь, сопоставляя аудиостиль данного входного сэмпла, который может быть короче двух секунд. Эта функция обещает успех в будущих проектах, таких как обеспечение речи для людей, которые не могут говорить, или настройка голосов, используемых неигровыми персонажами и виртуальными помощниками.

Кросс-языковая передача стиля

Благодаря способности генерировать речь на нескольких языках, Voicebox может читать текстовые отрывки на языках, включая английский, французский, немецкий, испанский, польский и португальский. Этот прорыв может способствовать естественному и аутентичному общению между людьми, говорящими на разных языках.

Очистка и редактирование речи

Обучение в контексте (in-context learning) Voicebox позволяет бесшовно редактировать аудиозаписи. Он может эффективно удалять шум короткой продолжительности или заменять неправильно произнесенные слова в речевом сегменте без необходимости полной перезаписи всей записи. Эта способность может революционизировать редактирование аудио, сделав его таким же доступным, как популярные инструменты редактирования изображений сделали корректировку фотографий.

Разнообразная выборка речи

Изучив разнообразные реальные данные, Voicebox генерирует речь, которая более репрезентативна для того, как люди говорят естественно. Эта способность может помочь в генерации синтетических данных для обучения моделей речевых помощников. Примечательно, что модели распознавания речи, обученные на синтетической речи, сгенерированной Voicebox, работают почти так же хорошо, как и те, которые обучены на реальной речи, с лишь 1-процентным снижением точности по сравнению с 45–70-процентным снижением точности предыдущих моделей преобразования текста в речь. Для кросс-языковой передачи стиля Voicebox превосходит YourTTS, снижая среднюю ошибку в словах с 10,9 процента до 5,2 процента, и улучшает сходство аудио с 0,335 до 0,481.

Ответственное распространение исследований в области генеративного ИИ

Хотя Voicebox представляет собой значительный шаг вперед в области генеративного ИИ, Meta AI осознает потенциальные риски и ответственно подходит к его выпуску. Для решения проблем возможного злоупотребления была разработана высокоэффективная классификаторная модель, способная отличать подлинную речь от аудио, сгенерированного с помощью Voicebox. Хотя сама модель и код пока не доступны публично, Meta AI делится образцами аудио и подробной исследовательской статьей, описывающей их подход и результаты, призывая научное сообщество развивать их работу и участвовать в дискуссиях об ответственном развитии ИИ.

Voicebox, передовая модель генеративного ИИ для речи от Meta AI, достигла прорывных результатов, превзойдя предыдущие модели по показателям ошибки распознавания слов и сходства аудиостилей. Благодаря способности обобщать знания для различных задач, Voicebox открывает захватывающие возможности для множества применений, включая синтез речи по тексту в контексте, межъязыковую передачу стиля, шумоподавление и редактирование речи, а также разнообразную выборку голосовых данных. Хотя Meta AI подчеркивает ответственное распространение своих исследований, они ожидают положительного влияния Voicebox на будущее генеративного ИИ для речи и с нетерпением ждут дальнейших достижений в этой области.