- Lo strumento V2A può essere utilizzato per generare un numero illimitato di colonne sonore per qualsiasi output video.
- DeepMind impiegherà del tempo prima di rilasciare V2A al pubblico, poiché lo strumento è sottoposto a rigorose valutazioni sulla sicurezza.
- V2A è compatibile con strumenti di generazione video come Veo e abbinerà automaticamente i suoni alle scene appropriate.
DeepMind, il laboratorio di ricerca IA di Google, ha rivelato che sta lavorando a uno strumento IA noto come V2A, che può creare suoni e dialoghi per video generati dall'IA. V2A, che sta per video-to-audio, utilizza prompt testuali e pixel video per generare dialoghi, musica ed effetti sonori per i video.
Leggi anche: Google DeepMind introduce TacticAI: Rivoluzionando le tattiche del calcio
Secondo DeepMind, gli effetti sonori e la musica generati corrispondono al tono e ai personaggi intenzionali del video. DeepMind ha ulteriormente spiegato che la tecnologia potrebbe aiutare a dare più vita ai video generati dall'IA.
V2A abbina l'audio alle scene video
Sebbene la tecnologia di generazione audio non sia nulla di nuovo, DeepMind afferma che il suo strumento V2A è il primo del suo genere, che abbina automaticamente l'audio al video.
«I modelli di generazione video stanno avanzando a un ritmo incredibile, ma molti sistemi attuali possono generare solo output silenziosi», ha scritto DeepMind in un post sul blog.
«Addestrandoci su video, audio e le annotazioni aggiuntive, la nostra tecnologia impara ad associare eventi audio specifici a varie scene visive, rispondendo alle informazioni fornite nelle annotazioni o nelle trascrizioni.»
DeepMind.
L'azienda ha aggiunto che la sua tecnologia è automatica rispetto all'allineamento manuale che richiede tempo e che richiede di regolare suoni, video e tempistiche.
Secondo DeepMind, lo strumento V2A può essere utilizzato per generare un numero illimitato di colonne sonore per qualsiasi output video. Un prompt positivo può essere "definito per guidare l'output generato verso suoni desiderati, o un prompt negativo per allontanarlo da suoni indesiderati."
"Questa flessibilità offre agli utenti un maggiore controllo sull'output di V2A, rendendo possibile sperimentare rapidamente diversi output audio e scegliere la corrispondenza migliore", ha dichiarato l'azienda.
Condividiamo i progressi sulla nostra tecnologia generativa da video ad audio (V2A). 🎥
Può aggiungere suono a clip silenziose che corrispondono all'acustica della scena, accompagnare le azioni sullo schermo e altro ancora.
Ecco 4 esempi – accendi il tuo suono. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62
— Google DeepMind (@GoogleDeepMind) Giugno 17, 2024
DeepMind indifferente alla concorrenza
L'ultima innovazione arriva mentre DeepMind vuole consolidare il suo dominio nel settore. All'inizio di quest'anno, l'azienda britannica di generatori di voce IA ElevenLabs ha raggiunto un traguardo dopo che il suo round di finanziamento Serie B ha generato 80 milioni di dollari, valutando l'azienda oltre 1 miliardo di dollari, secondo Verdict.
L'azienda afferma che i suoi utenti hanno generato oltre 100 anni di audio. Afferma inoltre che il suo software audio è attualmente utilizzato dal 41% delle aziende Fortune 500.
Leggi anche: Google DeepMind vs. OpenAI: La gara nella generazione di video AI si intensifica
Nonostante questa concorrenza, DeepMind ha indicato che non ha fretta di rilasciare la tecnologia al pubblico.
"Prima di prendere in considerazione l'apertura dell'accesso al pubblico più ampio, la nostra tecnologia V2A sottoporrà rigorose valutazioni di sicurezza e test", ha dichiarato l'azienda.
DeepMind ha anche indicato che V2A è abbinabile a modelli di generazione video come Veo, che aiuta a creare effetti sonori realistici.
Reportage di Cryptopolitan a cura di Enacy Mapakame
Se stai leggendo questo, sei già avanti. Resta così con la nostra newsletter.
Dichiarazione di responsabilità. Le informazioni fornite non costituiscono consigli di trading. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti effettuati sulla base delle informazioni fornite in questa pagina. Si consiglia vivamente di effettuare ricerche indipendenti e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.
Enacy Mapakame
Enacy Mapakame è una giornalista con oltre 10 anni di esperienza nel settore delle notizie finanziarie e aziendali. Si occupa di mercati dei capitali e tecnologie emergenti: metaverso, intelligenza artificiale e criptovalute. Enacy è laureata con onori in Media and Society Studies.
