El VASA-1 de Microsoft puede generar rostros parlantes realistas a partir de una sola imagen

En un reciente documento técnico, Microsoft presentó un nuevo modelo de IA que produce una cabeza parlante que parece y suena realista, generada únicamente mediante la carga de una fotografía estática y una muestra de voz.

El nuevo modelo se llama VASA-1 y requiere solo una imagen de estilo retrato y un archivo de audio de voz para fusionarlos y crear un breve video de una cabeza parlante con expresiones faciales, sincronización labial y movimientos de cabeza. La cabeza producida incluso puede cantar canciones, y eso con la voz cargada en el momento de la creación.

Microsoft VASA-1 es un avance para la animación

Según Microsoft, el nuevo modelo de IA aún está en fase de investigación y no hay planes de lanzarlo al público en general; solo los investigadores de Microsoft tienen acceso a él. Sin embargo, la compañía compartió varias muestras de las demostraciones, que muestran un realismo impresionante y movimientos labiales que parecen demasiado naturales.

La demostración muestra personas que parecen reales, como si estuvieran sentadas frente a una cámara siendo grabadas. Los movimientos de la cabeza son realistas y lucen bastante naturales, y el movimiento labial para coincidir con el audio es bastante destacado, siempre que parezca que hay muy poco que notar para no ser natural. La sincronización general de la boca es fenomenal.

Microsoft dijo que el modelo fue desarrollado para animar personajes virtuales, y afirmó que todas las personas mostradas en la demostración son sintéticas, ya que dijeron que los modelos fueron generados por DALL-E, el generador de imágenes de OpenAI. Por lo tanto, pensamos que si puede animar un modelo generado por IA, entonces obviamente hay mucho más potencial para animar fotos de cualquier persona real, lo que debería ser más realista y mucho más fácil de manejar.

Casos de uso de Vasa-1 y su posible mal uso

Si observamos el potencial de VASA-1 para el uso práctico, entonces, en el nivel básico, puede usarse para animar personajes en películas animadas, lo que dará a los personajes una sensación más realista con expresiones faciales y movimientos de cabeza naturales. Otro uso podría ser en videojuegos, por la misma razón; piense en Grand Theft Auto y similares. En el futuro, puede usarse para películas o series generadas por IA hiperrealistas donde los personajes puedan ser generados a partir de generadores de imágenes y animados por VASA-1, y la audiencia podría ni siquiera sentir que los personajes no son humanos.

Junto con el uso creativo de la herramienta, también puede aprovecharse para crear contenido con fines maliciosos. El posible mal uso de VASA-1 podría ser su utilización para deepfakes, ya que facilitará que cualquiera involucrado en la creación de deepfakes escale sus malas tácticas y genere contenido engañoso más realista. ¿Recuerdan el escándalo de las llamadas robóticas que involucraba la voz de Biden para disuadir a las personas de votar antes de las elecciones primarias? Ahora podría ser un robovideo después de la robollamada, y eso con expresiones humanas muy realistas.

El riesgo potencial de mal uso puede ser la razón por la que Microsoft ha limitado sus pruebas solo a sus investigadores. Según Microsoft investigadores, la herramienta puede usarse para crear contenido engañoso y engañoso para suplantar humanos, como algunas otras herramientas, pero están apuntando a aplicaciones de uso positivo. Nvidia y Runway AI también han lanzado sus modelos para la misma función, pero VASA-1 parece mucho más realista y un candidato prometedor.