- A ferramenta V2A pode ser usada para gerar um número ilimitado de trilhas sonoras para qualquer saída de vídeo.
- DeepMind levará seu tempo para lançar a V2A ao público, pois a ferramenta passa por rigorosas avaliações de segurança.
- A V2A é compatível com ferramentas de geração de vídeo como Veo e combina automaticamente os sons com as cenas apropriadas.
A DeepMind, laboratório de investigação de IA do Google, revelou que está a trabalhar numa ferramenta de IA conhecida como V2A, que pode criar som e diálogo para vídeos gerados por IA. O V2A, que significa video-to-audio (vídeo para áudio), utiliza prompts baseados em texto e pixels de vídeo para gerar diálogo, música e efeitos sonoros para vídeos.
Também leia: Google DeepMind Apresenta TacticAI: Revolucionando as Táticas de Futebol
De acordo com a DeepMind, os efeitos sonoros e a música gerados correspondem ao tom e aos personagens pretendidos do vídeo. A DeepMind explicou ainda que a tecnologia pode ajudar a dar mais vida aos vídeos gerados por IA.
V2A sincroniza áudio com cenas de vídeo
Embora a tecnologia de geração de áudio não seja nada de novo, a DeepMind afirma que a sua ferramenta V2A é a primeira do seu género, que sincroniza automaticamente o áudio com o vídeo.
“Os modelos de geração de vídeo estão a avançar a um ritmo incrível, mas muitos sistemas atuais só podem gerar saída sem som,” escreveu a DeepMind num post de blog.
“Ao treinar com vídeo, áudio e as anotações adicionais, a nossa tecnologia aprende a associar eventos de áudio específicos a várias cenas visuais, respondendo à informação fornecida nas anotações ou transcrições.”
DeepMind.
A empresa acrescentou que a sua tecnologia é automática, em oposição ao alinhamento manual demorado, que requer o ajuste de sons, vídeos e tempos.
De acordo com a DeepMind, a ferramenta V2A pode ser usada para gerar um número ilimitado de bandas sonoras para qualquer saída de vídeo. Um prompt positivo pode ser “definido para guiar a saída gerada em direção a sons desejados, ou um prompt negativo para a afastar de sons indesejados.”
“Esta flexibilidade dá aos utilizadores mais controlo sobre a saída do V2A, tornando possível experimentar rapidamente diferentes saídas de áudio e escolher a melhor correspondência,” disse a empresa.
Estamos compartilhando avanços em nossa tecnologia generativa de vídeo-para-áudio (V2A). 🎥
Pode adicionar som a clipes silenciosos que correspondam à acústica da cena, acompanhar a ação no ecrã e muito mais.
Aqui estão 4 exemplos – ligue o som. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62
— Google DeepMind (@GoogleDeepMind) Junho 17, 2024
DeepMind indiferente à concorrência
A mais recente inovação surge enquanto a DeepMind quer consolidar a sua dominância na indústria. No início deste ano, a empresa britânica de geração de voz por IA, ElevenLabs, atingiu um marco após a sua ronda de financiamento Série B ter gerado 80 milhões de dólares, avaliando a empresa em mais de 1 mil milhões de dólares, segundo o Verdict.
A empresa diz que os seus utilizadores geraram mais de 100 anos de áudio. Afirma também que o seu software de áudio é atualmente utilizado por 41% das empresas da Fortune 500.
Leia também: Google DeepMind vs. OpenAI: A Corrida na Geração de Vídeo por IA Acelera
Apesar desta concorrência, a DeepMind indicou que não têm pressa em lançar a tecnologia ao público.
“Antes de considerarmos abrir o acesso ao público em geral, a nossa tecnologia V2A passará por rigorosas avaliações de segurança e testes,” disse a empresa.
A DeepMind também indicou que o V2A é compatível com modelos de geração de vídeo como o Veo, o que ajuda a criar efeitos sonoros realistas.
Reportagem do Cryptopolitan por Enacy Mapakame
Se você está lendo isso, já está à frente. Mantenha-se assim com nosso boletim informativo.
Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar quaisquer decisões de investimento.
Enacy Mapakame
Enacy Mapakame é jornalista com mais de 10 anos de experiência em notícias de negócios e finanças. Cobre mercados de capitais e tecnologias emergentes — metaverso, IA e criptomoedas. Enacy possui graduação honrosa em Estudos de Mídia e Sociedade.
