- La herramienta V2A puede utilizarse para generar un número ilimitado de bandas sonoras para cualquier salida de video.
- DeepMind tardará en lanzar V2A al público mientras la herramienta pasa por rigurosas evaluaciones de seguridad.
- V2A es compatible con herramientas de generación de video como Veo y sincroniza automáticamente los sonidos con las escenas apropiadas.
DeepMind, el laboratorio de investigación de IA de Google, ha revelado que está trabajando en una herramienta de IA conocida como V2A, que puede crear sonido y diálogo para videos generados por IA. V2A, que significa video-a-audio, utiliza prompts basados en texto y píxeles de video para generar diálogo, música y efectos de sonido para videos.
También lea: Google DeepMind presenta TacticAI: Revolucionando las tácticas de fútbol
Según DeepMind, los efectos de sonido y la música generados coinciden con el tono y los personajes previstos del video. DeepMind explicó además que la tecnología podría ayudar a dar más vida a los videos generados por IA.
V2A sincroniza el audio con las escenas del video
Aunque la tecnología de generación de audio no es nueva, DeepMind afirma que su herramienta V2A es la primera de su tipo, que sincroniza automáticamente el audio con el video.
«Los modelos de generación de video están avanzando a un ritmo increíble, pero muchos sistemas actuales solo pueden generar salida silenciosa», escribió DeepMind en un artículo de blog.
«Al entrenar con video, audio y las anotaciones adicionales, nuestra tecnología aprende a asociar eventos de audio específicos con varias escenas visuales, mientras responde a la información proporcionada en las anotaciones o transcripciones.»
DeepMind.
La compañía añadió que su tecnología es automática, en lugar de la alineación manual que consume tiempo, la cual requiere ajustar sonidos, videos y tiempos.
Según DeepMind, la herramienta V2A se puede utilizar para generar un número ilimitado de bandas sonoras para cualquier salida de video. Un prompt positivo puede «definirse para guiar la salida generada hacia sonidos deseados, o un prompt negativo para alejarla de sonidos no deseados.»
«Esta flexibilidad da a los usuarios más control sobre la salida de V2A, lo que permite experimentar rápidamente con diferentes salidas de audio y elegir la mejor coincidencia», dijo la compañía.
Compartimos avances sobre nuestra tecnología generativa de video a audio (V2A). 🎥
Puede agregar sonido a clips silenciosos que coincidan con la acústica de la escena, acompañar la acción en pantalla y más.
Aquí hay 4 ejemplos: encienda su sonido. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62
— Google DeepMind (@GoogleDeepMind) junio 17, 2024
DeepMind indiferente ante la competencia
La última innovación llega mientras DeepMind quiere consolidar su dominio en la industria. A principios de este año, la empresa británica de generación de voz por IA ElevenLabs logró un hito después de que su ronda de financiación Serie B generara 80 millones de dólares, valorando a la empresa en más de 1.000 millones de dólares, según Verdict.
La compañía dice que sus usuarios han generado más de 100 años de audio. También afirma que su software de audio es utilizado actualmente por el 41 % de las empresas Fortune 500.
Leer también: Google DeepMind vs. OpenAI: La carrera en la generación de video por IA se intensifica
A pesar de esta competencia, DeepMind ha indicado que no tienen prisa por lanzar la tecnología al público.
«Antes de considerar abrir el acceso al público en general, nuestra tecnología V2A pasará por rigurosas evaluaciones de seguridad y pruebas», dijo la compañía.
DeepMind también indicó que V2A es compatible con modelos de generación de video como Veo, lo que ayuda a crear efectos de sonido realistas.
Reporte de Cryptopolitan por Enacy Mapakame
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Enacy Mapakame
Enacy Mapakame es una periodista con más de 10 años de experiencia en noticias empresariales y financieras. Cubre los mercados de capitales y las tecnologías emergentes: el metaverso, la inteligencia artificial y las criptomonedas. Enacy posee un título de licenciatura con honores en Estudios de Medios y Sociedad.
