Alibaba hat sein KI-Modell zur Vereinfachung realistischer Charakteranimationen aktualisiert

Alibabas aktualisiertes KI-Modell für Cloud-Computing, Animate Anyone 2, ermöglicht es Benutzern, realistische Charakteranimationen zu erstellen, indem sie ein einzelnes Bild mit einem Video kombinieren.

Laut einem Bericht der SCMP geht dieses System über bisherige bewegungssignalbasierte Methoden hinaus, indem es Umgebungsinformationen aus Referenzinhalten hinzufügt.

Die Studie des Tongyi Lab von Alibaba Cloud demonstrierte, wie dieses Verfahren Aktionsdaten und Hintergrundelemente aus Quellvideos extrahiert,tracrealistische Animationsclips zu erstellen. Das aktualisierte Modell erzielt ein natürlicheres Aussehen, da es die animierte Figur in ihre ursprüngliche Umgebung einbettet.

Die auf arxiv veröffentlichte Studie besagt: „WirtracUmgebungsinformationen aus [Quell-]Videos, wodurch die animierte Figur ihre ursprüngliche Umgebung beibehalten kann … und so eine nahtlose Integration von Figur und Umgebung ermöglicht wird.“

Chinesische Entwickler machen rasante Fortschritte im Bereich der generativen KI

Animate Anyone wurde ursprünglich Ende 2023 veröffentlicht und ermöglicht es Benutzern, charakterbasierte Videos aus statischen Bildern zu erstellen.

OpenAI brachte Sora als sein Text-zu-Video-Modell auf den Markt, nachdem ChatGPT im vergangenen Jahr entwickelt worden war. Diese Innovation löste zahlreiche ähnliche Veröffentlichungen von großen chinesischen Technologiekonzernen und Startups aus. Seit Dezember ist Sora exklusiv für Abonnenten von ChatGPT Plus und Pro verfügbar.

Mit der kürzlich erfolgten Veröffentlichung von Animate Anyone 2 demonstriert China seinen Wunsch, zu den weltweiten Marktführern im Bereich der künstlichen Intelligenz aufzuschließen. Alibabas Ankündigung folgt auf ByteDances kürzlich veröffentlichtes OmniHuman-1, das als multimodales Modell zur Umwandlung von Bildern und aufgezeichneten Tönen in realistische Videoinhalte dient.

Die Animate Anyone 2-Studie von Alibaba verwendete Videos mit 100.000 Zeichen

Die Studie von Alibaba ergänzte, dass die Plattform „Animate Anyone 2“ Interaktionen zwischen Charakteren erzeugt, indem sie konsistente Bewegungen und „Kohärenz mit der Umgebung“ aufrechterhält

Für diese Studie erstellten die Forscher eine Datenbank mit 100.000 Charaktervideos aus dem Internet, die verschiedene Szenen und Interaktionen zwischen Menschen und Objekten zeigen, um die Leistung von Animate Anyone 2 in unterschiedlichen Umgebungen zu bewerten.

Anyone 2 birgt jedoch das Risiko, zusätzliche Deepfake-Videos zu generieren.

Liang Haisheng von seiner in Peking ansässigen Werbeagentur erklärt, dass solche KI-Tools „hinterherhinken, wenn es darum geht, menschliche Emotionen und detaillierte Gesichtsausdrücke in Videos wiederzugeben“

Liang fügte hinzu, dass die grundlegende visuelle Darstellung in diesen KI-generierten Videos es Unternehmen immer noch ermöglicht, Konzepte in visuelle Darstellungen für Kundenpräsentationen umzusetzen.

Alibaba gab einen Anstieg des Quartalsgewinns bekannt, der auf KI-Strategien zurückzuführen ist. Das Unternehmen sieht in den kommenden drei Jahren umfangreiche KI-Investitionen als eine Chance, die sich „nur alle paar Jahrzehnte bietet“.