VASA-1 de Microsoft puede generar caras parlantes realistas a partir de una sola imagen

En un informe técnico reciente, Microsoft presentó un nuevo modelo de IA que produce una cabeza parlante que parece y suena realista y se genera simplemente cargando una fotografía fija y una muestra de voz.

El nuevo modelo se llama VASA-1 y solo requiere una imagen de retrato y un archivo de audio de voz, fusionándolos para crear un video corto de una cabeza parlante con expresiones faciales, sincronización de labios y movimientos de cabeza. La cabeza producida incluso puede cantar canciones, con la voz que se subió al momento de su creación.

Microsoft VASA-1 es un gran avance para la animación

Según Microsoft, el nuevo modelo de IA aún se encuentra en fase de investigación y no hay planes para lanzarlo al público general. Solo los investigadores de Microsoft tienen acceso a él. Sin embargo, la compañía compartió varias muestras de las demostraciones, que muestran un realismo asombroso y movimientos labiales que parecen muy realistas.

La demo muestra personas que parecen reales, como si estuvieran sentadas frente a una cámara y siendo filmadas. Los movimientos de las cabezas son realistas y parecen muy naturales, y el movimiento de los labios, en sintonía con el audio, es excepcional, aunque parece haber muy pocos detalles que no sean naturales. La sincronización bucal general es fenomenal.

Microsoft afirmó que el modelo fue desarrollado para animar personajes virtuales y que todas las personas mostradas en la demostración son sintéticas. Según la empresa, los modelos se generaron con DALL-E, el generador de imágenes de OpenAI. Por lo tanto, creemos que si puede animar un modelo generado por IA, obviamente tiene mucho más potencial para animar fotos de cualquier persona real, lo que debería ser más realista y mucho más fácil de manejar.

Casos de uso de Vasa-1 y su posible mal uso

Si consideramos el potencial de VASA-1 en la práctica, en principio, se puede usar para animar personajes en películas animadas, lo que les dará una sensación más realista con expresiones faciales y movimientos de cabeza naturales. Otro uso podría ser en videojuegos, por la misma razón, como Grand Theft Auto y similares. En el futuro, podría usarse para películas o series hiperrealistas generadas por IA, donde los personajes se pueden generar a partir de generadores de imágenes y animarse con VASA-1, sin que el público note que los personajes no son humanos.

Además del uso creativo de la herramienta, también puede aprovecharse para crear contenido con fines maliciosos. El posible uso indebido de VASA-1 podría ser su utilización para deepfakes, ya que facilitaría a cualquiera involucrado en la creación de deepfakes ampliar sus tácticas maliciosas y generar contenido engañoso más realista. ¿Recuerdan el escándalo de las llamadas robóticas que involucraron la voz de Biden para disuadir a la gente de votar antes de las primarias? Ahora, podría ser un video robótico después de la llamada, con expresiones humanas muy realistas.

El riesgo potencial de mal uso podría ser la razón por la que Microsoft ha limitado sus pruebas solo a sus investigadores. Según de Microsoft , la herramienta puede utilizarse para crear contenido engañoso y engañoso que suplante la identidad de personas, como otras herramientas, pero su objetivo es obtener aplicaciones de uso positivo. Nvidia y Runway AI también han publicado sus modelos para la misma función, pero VASA-1 parece mucho más realista y un candidato prometedor.