Le VASA-1 de Microsoft peut générer des visages parlants réalistes à partir d'une seule image

Dans un récent livre blanc, Microsoft a présenté un nouveau modèle d'IA qui produit une tête parlante d'apparence et de son réalistes, générée uniquement à partir d'une photographie fixe et d'un échantillon vocal.

Le nouveau modèle, baptisé VASA-1, ne nécessite qu'une photo portrait et un fichier audio pour créer une courte vidéo d'une tête parlante. Cette tête animée possède des expressions faciales, une synchronisation labiale et des mouvements de tête. Elle peut même chanter, avec la voix enregistrée lors de sa création.

Microsoft VASA-1 représente une avancée majeure dans le domaine de l'animation.

D'après Microsoft, le nouveau modèle d'IA est encore en phase de recherche et aucune diffusion publique n'est prévue pour le moment ; seuls les chercheurs de Microsoft y ont accès. L'entreprise a toutefois partagé plusieurs exemples de démonstrations, révélant un réalisme saisissant et des mouvements des lèvres d'un naturel troublant.

La démo montre des personnes d'un réalisme saisissant, comme si elles étaient assises devant une caméra et filmées. Les mouvements de la tête sont réalistes et paraissent très naturels, et la synchronisation labiale avec le son est remarquable, au point qu'il est difficile de déceler un quelconque manque de naturel. La synchronisation labiale globale est phénoménale.

Microsoft a déclaré que le modèle avait été développé pour animer des personnages virtuels et a affirmé que toutes les personnes présentées dans la démo étaient synthétiques. En effet, selon l'entreprise, les modèles ont été générés par DALL-E, le générateur d'images d'OpenAI. Par conséquent, si ce modèle peut animer un modèle généré par IA, son potentiel est évidemment bien plus important pour animer des photos de personnes réelles, ce qui serait plus réaliste et beaucoup plus simple à gérer.

Cas d'utilisation de Vasa-1 et ses mésusages potentiels

Si l'on considère le potentiel de VASA-1 pour des applications pratiques, il peut, dans un premier temps, servir à animer des personnages de films d'animation, leur conférant un aspect plus réaliste grâce à des expressions faciales et des mouvements de tête naturels. Il pourrait également être utilisé dans les jeux vidéo, pour la même raison, comme Grand Theft Auto. À l'avenir, il pourrait servir à la création de films ou de séries hyperréalistes générés par IA, où les personnages, créés à partir d'images, seraient animés par VASA-1, au point que le public pourrait ne pas se rendre compte qu'il ne s'agit pas de personnages humains.

Outre son utilisation créative, cet outil peut également servir à créer du contenu à des fins malveillantes. L'utilisation abusive potentielle de VASA-1 pourrait résider dans son exploitation pour la création de deepfakes, car elle permettrait à quiconque impliqué dans ce domaine d'amplifier ses pratiques malhonnêtes et de générer un contenu trompeur encore plus réaliste. Vous souvenez-vous du scandale des appels automatisés utilisant la voix de Biden pour dissuader les électeurs de voter avant une primaire ? Imaginez maintenant une vidéo automatisée faisant suite à cet appel, avec des expressions humaines d'un réalisme saisissant.

Le risque potentiel d'utilisation abusive explique peut-être pourquoi Microsoft a limité ses tests à ses seuls chercheurs. Selon ces derniers, l'outil peut servir à créer du contenu trompeur et mensonger, voire à usurper l'identité d'humains, comme d'autres outilssimilaires, mais Microsoft privilégie des applications à vocation positive. Nvidia et Runway AI ont également publié leurs modèles pour cette même fonction, mais VASA-1 semble bien plus réaliste et prometteur.