Google DeepMind sviluppa V2A che crea suoni per i video AI

DeepMind, il laboratorio di ricerca sull'intelligenza artificiale di Google, ha rivelato di essere al lavoro su uno strumento di intelligenza artificiale noto come V2A, in grado di creare suoni e dialoghi per i video generati dall'intelligenza artificiale. V2A, acronimo di "video-to-audio", utilizza prompt testuali e pixel video per generare dialoghi, musica ed effetti sonori per i video.

Leggi anche: Google DeepMind presenta TacticAI: rivoluziona le tattiche calcistiche

Secondo DeepMind, gli effetti sonori e la musica generati corrispondono al tono e ai personaggi del video. DeepMind ha inoltre spiegato che la tecnologia potrebbe contribuire a dare più vitalità ai video generati dall'intelligenza artificiale.

V2A abbina l'audio alle scene video

Sebbene la tecnologia di generazione audio non sia una novità, DeepMind sostiene che il suo strumento V2A sia il primo del suo genere, in grado di abbinarematicl'audio al video.

"I modelli di generazione video stanno progredendo a un ritmo incredibile, ma molti sistemi attuali possono generare solo un output silenzioso", ha scritto DeepMind in un post sul blog.

“Tramite l'addestramento su video, audio e annotazioni aggiuntive, la nostra tecnologia impara ad associare specifici eventi audio a varie scene visive, rispondendo al contempo alle informazioni fornite nelle annotazioni o nelle trascrizioni.”

Mente Profonda.

L'azienda ha aggiunto che la sua tecnologia è automaticamatic a differenza dell'allineamento manuale che richiede molto tempo e richiede la regolazione di suoni, video e tempi.

Secondo DeepMind, lo strumento V2A può essere utilizzato per generare un numero illimitato ditracaudio per qualsiasi output video. Un prompt positivo può essere "defiper guidare l'output generato verso i suoni desiderati, o un prompt negativo per guidarlo lontano dai suoni indesiderati"

"Questa flessibilità offre agli utenti un maggiore controllo sull'output V2A, consentendo di sperimentare rapidamente diverse uscite audio e di scegliere la migliore corrispondenza", ha affermato l'azienda.

Stiamo condividendo i progressi della nostra tecnologia generativa da video ad audio (V2A). 🎥

Può aggiungere suoni alle clip mute, adattandoli all'acustica della scena, accompagnare l'azione sullo schermo e molto altro.

Ecco 4 esempi: attiva l'audio. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62

— Google DeepMind (@GoogleDeepMind) 17 giugno 2024

Deepmind non si lascia influenzare dalla concorrenza

L'ultima innovazione arriva mentre DeepMind vuole consolidare la sua posizione dominante nel settore. All'inizio di quest'anno, ElevenLabs, azienda britannica specializzata in generatori vocali basati su intelligenza artificiale, ha raggiunto un traguardo importante dopo che il suo round di finanziamento di serie B ha generato 80 milioni di dollari, portando la valutazione dell'azienda a oltre 1 miliardo di dollari, secondo Verdict.

L'azienda afferma che i suoi utenti hanno generato oltre 100 anni di audio. Afferma inoltre che il suo software audio è attualmente utilizzato dal 41% delle aziende Fortune 500.

Leggi anche: Google DeepMind vs. OpenAI: la corsa alla generazione di video basati sull'intelligenza artificiale si fa più serrata

Nonostante questa concorrenza, DeepMind ha dichiarato di non avere fretta di rilasciare la tecnologia al pubblico.

"Prima di prendere in considerazione l'apertura dell'accesso al pubblico più vasto, la nostra tecnologia V2A sarà sottoposta a rigorose valutazioni e test di sicurezza", ha affermato l'azienda.

DeepMind ha anche indicato che V2A è abbinabile a modelli di generazione video come Veo, che aiuta a creare effetti sonori realistici.

Reporting Cryptopolitan di Enacy Mapakame