VASA-1 от Microsoft может генерировать реалистичные говорящие лица всего из одного изображения

В недавнем белом документе Microsoft представила новую модель ИИ, которая создает говорящую голову, выглядящую и звучащую реалистично, и генерируемую только путем загрузки статичной фотографии и образца голоса.

Новая модель называется VASA-1, и ей требуется только одно портретное изображение и аудиофайл голоса, которые объединяются для создания короткого видео с говорящей головой, включающей мимику, синхронизацию губ и движения головы. Сгенерированная голова даже может петь песни, используя голос, загруженный в момент создания.

Microsoft VASA-1 — прорыв в анимации

Согласно Microsoft, новая модель ИИ все еще находится на стадии исследований, и планов выпустить ее для широкой публики нет, доступ к ней имеют только исследователи Microsoft. Однако компания поделилась несколькими образцами демонстраций, которые показывают потрясающий реализм и движения губ, которые кажутся слишком естественными.

Демонстрация показывает людей, которые выглядят реальными, как будто они сидят перед камерой и снимаются. Движения головы реалистичны и выглядят довольно естественно, а движение губ, соответствующее аудио, довольно выдающееся, при этом кажется, что практически нет ничего, что можно было бы отметить как неестественное. Общая синхронизация рта феноменальна.

Microsoft заявила, что модель была разработана для анимации виртуальных персонажей, и утверждала, что все люди, показанные в демо, являются синтетическими, так как, по их словам, модели были сгенерированы с помощью DALL-E, генератора изображений от OpenAI. Поэтому мы думаем, что если она может анимировать модель, сгенерированную ИИ, то очевидно, что у нее есть гораздо больший потенциал для анимации фотографий любого реального человека, что должно быть более реалистичным и гораздо более легким для обработки.

Варианты использования Vasa-1 и потенциальное злоупотребление

Если мы посмотрим на потенциал VASA-1 для практического использования, то на базовом уровне он может использоваться для анимации персонажей в анимационных фильмах, что придаст персонажам более реалистичное ощущение с естественной мимикой и движениями головы. Другим вариантом использования может быть видеоигры, по той же причине, подумайте о Grand Theft Auto и подобных. В будущем он может использоваться для гиперреалистичных фильмов или сериалов, сгенерированных ИИ, где персонажи могут быть сгенерированы из генераторов изображений и анимированы с помощью VASA-1, и аудитория может даже не почувствовать, что персонажи не являются людьми.

Наряду с творческим использованием инструмента, его также можно использовать для создания контента в злонамеренных целях. Потенциальное злоупотребление VASA-1 может заключаться в его использовании для дипфейков, так как это облегчит любому, кто занимается созданием дипфейков, масштабирование своих плохих тактик и генерацию более реалистичного вводящего в заблуждение контента. Помните скандал с роботизированными звонками с голосом Байдена, чтобы удержать людей от голосования перед первичными выборами? Теперь это может стать роботизированным видео после роботизированного звонка, и это с очень реалистичными человеческими выражениями.

Потенциальный риск misuse может быть причиной того, что Microsoft ограничила свои тестирования только своими исследователями. Согласно исследователям Microsoft, инструмент может использоваться для создания вводящей в заблуждение и обманчивой контента для имитации людей, как и некоторые другие инструменты, но они нацелены на позитивные варианты использования. Nvidia и Runway AI также выпустили свои модели для той же функции, но VASA-1 кажется гораздо более реалистичным и перспективным кандидатом.