Alibaba actualizó su modelo de IA para simplificar las animaciones de personajes realistas

El modelo de inteligencia artificial actualizado de computación en la nube de Alibaba, Animate Either 2, permite a los usuarios crear animaciones de personajes realistas combinando una sola imagen con un vídeo.

Según un informe de SCMP, este sistema mejora los métodos anteriores basados ​​en señales de movimiento al agregar información ambiental del contenido de referencia.

El estudio del Laboratorio Tongyi de Alibaba Cloud demostró cómo este proceso extraetracde acción y elementos de fondo de los vídeos originales para crear clips animados realistas. El modelo actualizado logra una apariencia más natural porque sitúa al personaje animado en su entorno original.

La investigación publicada en arxiv afirma: “tracinformación ambiental de los videos [fuente], lo que permite que el personaje animado preserve su entorno original... facilitando una integración perfecta entre el personaje y el entorno”

Los desarrolladores chinos están progresando rápidamente en IA generativa

Animate Either se lanzó inicialmente a fines de 2023 y permitía a los usuarios crear videos basados ​​en personajes a través de imágenes estáticas.

OpenAI lanzó Sora como su modelo de texto a video tras crear ChatGPT el año pasado. Esta innovación impulsó numerosos lanzamientos de modelos de texto a video similares por parte de importantes empresas tecnológicas y startups chinas. En diciembre, Sora pasó a estar disponible exclusivamente para los suscriptores de ChatGPT Plus y Pro.

China demuestra su deseo de igualar a los líderes mundiales en el campo de la IA a través del reciente lanzamiento de Animate Either 2. El anuncio de Alibaba sigue al recientemente lanzado OmniHuman-1 de ByteDance como su modelo multimodal para transformar imágenes y sonidos grabados en contenido de video realista.

El estudio Animate Either 2 de Alibaba utilizó vídeos de 100.000 caracteres

El estudio de Alibaba agregó que la plataforma Animate Either 2 crea interacciones entre personajes manteniendo movimientos consistentes y “coherencia con el entorno circundante”

Para este estudio, los investigadores crearon una base de datos compuesta por 100.000 vídeos de personajes tomados de Internet, con diversas escenas e interacciones entre humanos y objetos, para evaluar el rendimiento de Animate Either 2 en diferentes configuraciones.

Sin embargo, Either 2 presenta el riesgo de generar videos deepfake adicionales.

Liang Haisheng, de su agencia de publicidad con sede en Beijing, afirma que estas herramientas de IA “no son suficientes para transmitir emociones humanas y expresiones faciales detalladas en video”

Liang agregó que la representación visual básica en estos videos generados por IA aún permite a las empresas transformar conceptos en elementos visuales para presentar ideas a los clientes.

Alibaba anunció un aumento en sus ganancias trimestrales impulsado por estrategias de IA. La compañía prevé importantes inversiones en IA durante los próximos tres años, una oportunidad que “se presenta solo una vez cada varias décadas”.