Alibaba a mis à jour son modèle d'IA pour simplifier les animations de personnages réalistes

Le modèle d'IA mis à jour d'Alibaba pour le cloud computing, Animate Anyone 2, permet aux utilisateurs de créer des animations de personnages réalistes en combinant une seule image avec une vidéo.

Selon un rapport du SCMP, ce système fait progresser les méthodes précédentes basées sur les signaux de mouvement en ajoutant des informations environnementales provenant d'un contenu de référence.

L'étude menée par le laboratoire Tongyi d'Alibaba Cloud a démontré comment ce processus extraittracdonnées d'action et les éléments d'arrière-plan des vidéos sources pour créer des clips animés réalistes. Le modèle mis à jour offre un rendu plus naturel car il intègre le personnage animé dans son environnement d'origine.

L'étude publiée sur arXiv indique : « Noustracdes informations environnementales à partir de vidéos [source], permettant ainsi au personnage animé de préserver son environnement d'origine… facilitant une intégration harmonieuse entre le personnage et son environnement. »

Les développeurs chinois progressent rapidement dans le domaine de l'IA générative

Animate Anyone a été initialement lancé fin 2023, permettant aux utilisateurs de créer des vidéos basées sur des personnages à partir d'images statiques.

OpenAI a lancé Sora, son modèle de conversion texte-vidéo, après avoir créé ChatGPT l'année dernière. Cette innovation a inspiré de nombreux autres modèles similaires, développés par de grandes entreprises technologiques chinoises et des start-ups. En décembre, Sora est devenu accessible exclusivement aux abonnés des formules ChatGPT Plus et Pro.

La Chine démontre sa volonté de rivaliser avec les leaders mondiaux dans le domaine de l'IA grâce à la récente sortie d'Animate Anyone 2. Cette annonce d'Alibaba fait suite à la sortie récente par ByteDance d'OmniHuman-1, son modèle multimodal permettant de transformer des images et des sons enregistrés en contenu vidéo réaliste.

L'étude Animate Anyone 2 d'Alibaba a utilisé des vidéos de 100 000 caractères

L'étude d'Alibaba ajoute que la plateforme Animate Anyone 2 crée des interactions entre les personnages en maintenant des mouvements cohérents et une « cohérence avec l'environnement environnant »

Pour cette étude, les chercheurs ont créé une base de données composée de 100 000 vidéos de personnages extraites d’Internet, avec diverses scènes et interactions entre humains et objets, afin d’évaluer les performances d’Animate Anyone 2 dans différents contextes.

Cependant, Anyone 2 présente le risque de générer des vidéos deepfake supplémentaires.

Liang Haisheng, de son agence de publicité basée à Pékin, affirme que ces outils d'IA « ne parviennent pas à transmettre les émotions humaines et les expressions faciales détaillées en vidéo »

Liang a ajouté que la représentation visuelle de base de ces vidéos générées par l'IA permet toujours aux entreprises de transformer des concepts en visuels lors de présentations d'idées à leurs clients.

Alibaba a annoncé une hausse de ses bénéfices trimestriels, portée par ses stratégies d'intelligence artificielle. L'entreprise anticipe d'importants investissements dans l'IA au cours des trois prochaines années, considérant cela comme une opportunité qui « ne se présente que tous les quelques décennies ».