Microsoft의 VASA-1은 단 하나의 이미지로부터 사실적인 화상 애니메이션을 생성할 수 있습니다

최근 백서에서 Microsoft는 정지 사진과 음성 샘플을 업로드하는 것만으로 사실적으로 보이는 화상 애니메이션을 생성하는 새로운 AI 모델을 소개했습니다.

새로운 모델의 이름은 VASA-1이며, 단 하나의 초상화 스타일 사진과 음성 오디오 파일만 필요로 하여 표정, 입모양 동기화, 머리 움직임을 갖춘 짧은 화상 애니메이션 비디오를 만들어냅니다. 생성된 화상은 생성 시 업로드된 음성에 맞춰 노래를 부를 수도 있습니다.

Microsoft VASA-1은 애니메이션 분야의 돌파구입니다

Microsoft에 따르면 새로운 AI 모델은 아직 연구 단계에 있으며 일반 대중에게 출시할 계획은 없습니다. 현재 Microsoft 연구원들만 접근할 수 있습니다. 그러나 회사는 놀라운 사실감과 너무 생생해 보이는 입모양 움직임을 보여주는 시연 샘플들을 여러 개 공유했습니다.

시연 영상은 카메라 앞에 앉아 촬영되는 것처럼 보이는 실제 같은 사람들을 보여줍니다. 머리 움직임은 사실적이고 매우 자연스러워 보이며, 오디오에 맞춰 입모양을 맞추는 부분은 매우 뛰어나 자연스럽지 않다고 지적할 만한 부분이 거의 없습니다. 전반적인 입모양 동기화는 놀라울 정도입니다.

Microsoft는 이 모델을 가상 캐릭터를 애니메이션화하기 위해 개발했다고 밝혔으며, 시연에 등장한 모든 사람은 합성된 인물이라고 주장했습니다. 그들은 모델들이 OpenAI의 이미지 생성기인 DALL-E에서 생성되었다고 말했습니다. 따라서 AI가 생성한 모델을 애니메이션화할 수 있다면, 당연히 더 사실적이고 처리하기 훨씬 쉬운 실제 사람의 사진을 애니메이션화하는 데에도 훨씬 더 큰 잠재력이 있을 것이라고 생각됩니다.

Vasa-1의 사용 사례와 잠재적 오용

VASA-1의 실용적 잠재력을 살펴보면, 기본적으로 애니메이션 영화에서 캐릭터를 애니메이션화하는 데 사용될 수 있으며, 이는 자연스러운 표정과 머리 움직임을 통해 캐릭터에 더 사실적인 느낌을 줄 것입니다. 또 다른 용도는 비디오 게임일 수 있으며, 그 이유는 동일합니다. GTA(그랜드 테프트 오토) 등을 생각해 보세요. 미래에는 캐릭터가 이미지 생성기에서 생성되고 VASA-1로 애니메이션화될 수 있는 초고현실적인 AI 생성 영화나 시리즈에 사용될 수 있으며, 관객은 캐릭터가 인간이 아님을 느끼지 못할 수도 있습니다.

도구의 창의적 사용과 함께 악의적인 목적으로 콘텐츠를 생성하는 데에도 활용될 수 있습니다. VASA-1의 잠재적 오용은 딥페이크 생성에 활용되는 것일 수 있으며, 이는 딥페이크 생성에 관여하는 누구나 자신의 나쁜 전술을 확대하고 더 사실적인 오도성 콘텐츠를 생성하기 쉽게 만들 것입니다. 주요 선거 전 투표 참여를 막기 위해 바이든의 음성을 사용한 로보콜 스캔들을 기억하시나요? 이제 로보콜 이후에는 로보비디오가 될 수 있으며, 이는 매우 사실적인 인간 표정과 함께 이루어질 것입니다.

오용의 잠재적 위험이 마이크로소프트가 테스트를 연구원에게만 제한한 이유일 수 있습니다. 마이크로소프트 연구원들에 따르면, 이 도구는 다른 도구처럼 인간을 사칭하기 위해 오해의 소지가 있는 내용을 생성하는 데 사용될 수 있지만, 긍정적인 용도 애플리케이션을 목표로 하고 있습니다. Nvidia와 Runway AI도 동일한 기능을 위해 모델을 출시했지만, VASA-1은 훨씬 더 현실적이고 유망한 후보로 보입니다.