Alibaba atualizou seu modelo de IA para simplificar animações de personagens realistas

O Animate Anyone 2, modelo de IA atualizado para computação em nuvem da Alibaba, permite que os usuários criem animações de personagens realistas combinando uma única imagem com um vídeo.

Segundo uma reportagem do SCMP, este sistema aprimora os métodos anteriores baseados em sinais de movimento, adicionando informações ambientais provenientes de conteúdo de referência.

O estudo do Tongyi Lab da Alibaba Cloud demonstrou como esse processo extraitracde ação e elementos de fundo de vídeos originais para criar clipes animados realistas. O modelo atualizado alcança uma aparência mais natural porque coloca o personagem animado em seu ambiente original.

A pesquisa publicada no arXiv afirma: "tracinformações ambientais de vídeos [de origem], permitindo que o personagem animado preserve seu ambiente original... facilitando a integração perfeita entre personagem e ambiente."

Os desenvolvedores chineses estão progredindo rapidamente em IA generativa

O Animate Anyone foi lançado inicialmente no final de 2023, permitindo que os usuários criassem vídeos baseados em personagens a partir de imagens estáticas.

A OpenAI lançou o Sora como seu modelo de conversão de texto em vídeo após criar o ChatGPT no ano passado. A inovação impulsionou inúmeros lançamentos de modelos de conversão de texto em vídeo comparáveis ​​por grandes empresas de tecnologia e startups chinesas. Em dezembro, o Sora tornou-se acessível exclusivamente para assinantes dos planos ChatGPT Plus e Pro.

A China demonstra seu desejo de se igualar aos líderes mundiais na área de IA com o recente lançamento do Animate Anyone 2. O anúncio da Alibaba segue o lançamento do OmniHuman-1 pela ByteDance, um modelo multimodal para transformar imagens e sons gravados em conteúdo de vídeo realista.

O estudo Animate Anyone 2 da Alibaba utilizou vídeos com 100.000 caracteres

O estudo da Alibaba acrescentou que a plataforma Animate Anyone 2 cria interações entre personagens, mantendo movimentos consistentes e "coerência com o ambiente circundante"

Para este estudo, os pesquisadores criaram um banco de dados com 100.000 vídeos de personagens retirados da internet, com diversas cenas e interações entre humanos e objetos, para avaliar o desempenho do Animate Anyone 2 em diferentes cenários.

No entanto, o Anyone 2 apresenta o risco de gerar vídeos deepfake adicionais.

Liang Haisheng, de sua agência de publicidade sediada em Pequim, afirma que essas ferramentas de IA "ficam aquém em termos de transmitir emoções humanas e expressões faciais detalhadas em vídeo"

Liang acrescentou que a representação visual básica nesses vídeos gerados por IA ainda permite que as empresas transformem conceitos em recursos visuais para apresentar ideias aos clientes.

O Alibaba anunciou um aumento nos lucros trimestrais da empresa, impulsionado por estratégias de IA. A empresa prevê grandes investimentos em IA nos próximos 3 anos, considerando-os uma oportunidade que "surge apenas uma vez a cada poucas décadas".