- Инструмент V2A позволяет генерировать неограниченное количество саундтреков для любого видеовыхода.
- DeepMind займёт время, чтобы выпустить V2A для широкой публики, так как инструмент проходит строгие проверки безопасности.
- V2A совместим с инструментами генерации видео, такими как Veo, и автоматически подбирает звуки к соответствующим сценам.
DeepMind, лаборатория ИИ Google, раскрыла, что работает над инструментом ИИ под названием V2A, который может создавать звук и диалог для видео, сгенерированных ИИ. V2A, что означает video-to-audio (видео-в-аудио), использует текстовые подсказки и пиксели видео для генерации диалога, музыки и звуковых эффектов для видео.
Также читайте: Google DeepMind представляет TacticAI: Революция в тактике футбола
По словам DeepMind, сгенерированные звуковые эффекты и музыка соответствуют предполагаемому тону и персонажам видео. DeepMind дополнительно объяснила, что технология может помочь придать больше жизни видео, сгенерированным ИИ.
V2A синхронизирует аудио с видеосценами
Хотя технология генерации аудио не нова, DeepMind утверждает, что ее инструмент V2A является первым в своем роде, который автоматически синхронизирует аудио с видео.
«Модели генерации видео развиваются с невероятной скоростью, но многие текущие системы могут генерировать только беззвучный вывод», — написала DeepMind в своем посте в блоге.
«Обучаясь на видео, аудио и дополнительных аннотациях, наша технология учится связывать конкретные звуковые события с различными визуальными сценами, реагируя на информацию, предоставленную в аннотациях или транскриптах».
DeepMind.
Компания добавила, что ее технология является автоматической, в отличие от трудоемкой ручной синхронизации, которая требует настройки звуков, видео и таймингов.
По словам DeepMind, инструмент V2A можно использовать для генерации неограниченного количества саундтреков для любого видеовывода. Положительная подсказка может быть «определена для направления сгенерированного вывода к желаемым звукам, или отрицательная подсказка для направления его в сторону от нежелательных звуков».
«Эта гибкость дает пользователям больше контроля над выводом V2A, что позволяет быстро экспериментировать с различными аудиовыводами и выбирать лучшее совпадение», — сказала компания.
Мы делимся прогрессом в нашей технологии генерации аудио из видео (V2A). 🎥
Она может добавлять звук к беззвучным клипам, который соответствует акустике сцены, сопровождает действия на экране и многое другое.
Вот 4 примера — включите звук. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62
— Google DeepMind (@GoogleDeepMind) июня 17, 2024
DeepMind невосприимчива к конкуренции
Последнее нововведение появляется на фоне стремления DeepMind укрепить свое доминирование в отрасли. Ранее в этом году британская компания по генерации голосов ИИ ElevenLabs достигла вехи после раунда финансирования серии B, который принес 80 млн долларов, оценив компанию более чем в 1 миллиард долларов, согласно Verdict.
Компания говорит, что ее пользователи сгенерировали более 100 лет аудио. Она также утверждает, что ее программное обеспечение для аудио в настоящее время используется 41% компаний из списка Fortune 500.
Также читайте: Google DeepMind против OpenAI: Гонка в генерации видео ИИ обостряется
Несмотря на эту конкуренцию, DeepMind указала, что они не спешат выпускать технологию в публичный доступ.
«Прежде чем мы рассмотрим открытие доступа для широкой публики, наша технология V2A пройдет строгие оценки безопасности и тестирование», — сказала компания.
DeepMind также указала, что V2A можно использовать вместе с моделями генерации видео, такими как Veo, что помогает создавать реалистичные звуковые эффекты.
Материалы Cryptopolitan подготовила Энэси Мапакаме
Не просто читайте новости о криптовалютах. Понимайте их. Подпишитесь на нашу рассылку. Это бесплатно.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com Мы не несем ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Энаси Мапакаме
Энаси Мапакаме — журналист с более чем 10-летним опытом работы в сфере деловых и финансовых новостей. Она освещает вопросы капитальных рынков и emerging technologies: метавселенную, искусственный интеллект и криптовалюту. Энаси имеет степень бакалавра соhonours по специальности «Медиа и исследования общества».
