Alibaba aktualisiert sein KI-Modell zur Vereinfachung realistischer Charakteranimationen

Alibabas Cloud-Computing aktualisiertes KI-Modell Animate Anyone 2 ermöglicht es Nutzern, realistische Charakteranimationen zu erstellen, indem sie ein einzelnes Bild mit einem Video kombinieren.

Laut einem Bericht von SCMP verbessert dieses System frühere, auf Bewegungssignalen basierende Methoden, indem es Umgebungsdaten aus Referenzinhalten hinzufügt.

Die Forschungsstudie vom Tongyi Lab von Alibaba Cloud zeigte, wie dieser Prozess Aktionsdaten und Hintergrundelemente aus Quelld Videos extrahiert, um realistische animierte Clips zu erstellen. Das aktualisierte Modell erreicht einen natürlicheren Look, da es die animierte Figur in ihre ursprüngliche Umgebung einbettet.

Die Forschung, die auf arxiv veröffentlicht wurde, besagt: „Wir extrahieren Umgebungsdaten aus [Quell] Videos, wodurch der animierte Charakter seine ursprüngliche Umgebung beibehält … und ermöglicht eine nahtlose Integration von Charakter und Umgebung.“

Chinesische Entwickler machen bei generativer KI rasante Fortschritte

Animate Anyone wurde Ende 2023 erstmals veröffentlicht und ermöglichte es Nutzern, Charakterbasierte Videos durch statische Bilder zu erstellen.

OpenAI startete Sora als sein Text-zu-Video-Modell, nachdem es ChatGPT im letzten Jahr erstellt hatte. Die Innovation löste zahlreiche vergleichbare Text-zu-Video-Modell-Veröffentlichungen großer chinesischer Technologieunternehmen und Start-up-Unternehmen aus. Im Dezember wurde Sora ausschließlich für Abonnenten von ChatGPT Plus und Pro-Mitgliedschaften zugänglich.

China demonstriert seinen Wunsch, weltweit führende Akteure im KI-Bereich einzuholen, durch die kürzliche Veröffentlichung von Animate Anyone 2. Die Ankündigung von Alibaba folgt auf die kürzlich veröffentlichte OmniHuman-1 von ByteDance als sein multimodales Modell zur Umwandlung von Bildern und aufgenommenen Tönen in realistische Videoinhalte.

Alibabas Animate Anyone 2 Studie verwendete 100,000-Zeichen-Videos

Alibabas Studie fügte hinzu, dass die Animate Anyone 2-Plattform Interaktionen zwischen Charakteren erstellt, indem sie konsistente Bewegungen und „Kohärenz mit der umgebenden Umgebung“ beibehält.

Für diese Studie erstellten die Forscher eine Datenbank, die aus 100.000 Charaktervideos bestand, die aus dem Internet stammen, mit verschiedenen Szenen und Interaktionen zwischen Menschen und Objekten, um die Leistung von Animate Anyone 2 in verschiedenen Einstellungen zu bewerten.

Allerdings birgt Anyone 2 das Risiko, zusätzliche Deepfake-Videos zu generieren.

Liang Haisheng von seiner in Peking ansässigen Werbeagentur erklärt, dass solche KI-Tools „in Bezug auf die Vermittlung menschlicher Emotionen und detaillierter Gesichtsausdrücke in Videos unterlegen sind.“

Liang fügte hinzu, dass die grundlegende visuelle Darstellung in diesen KI-generierten Videos es Unternehmen immer noch ermöglicht, Konzepte in Visualisierungen für Kundenpräsentationen zu verwandeln.

Alibaba kündigte einen Anstieg der Quartalsgewinne des Unternehmens an, der durch KI-Strategien vorangetrieben wurde. Das Unternehmen blickt auf große KI-Investitionen in den kommenden 3 Jahren als eine „einmal alle paar Jahrzehnte“ stattfindende Gelegenheit.