마이크로소프트의 VASA-1은 단 한 장의 이미지만으로 실제와 같은 말하는 얼굴을 생성할 수 있습니다

Microsoft는 최근 백서에서 정지 사진과 음성 샘플만 업로드하여 현실적으로 보이고 들리는 대화 상대의 얼굴을 생성하는 새로운 AI 모델을 소개했습니다.

VASA-1이라는 이름의 이 새로운 모델은 인물 사진 한 장과 음성 오디오 파일만 있으면 얼굴 표정, 립싱크, 머리 움직임이 담긴 짧은 영상으로 합성하여 대화하는 사람의 모습을 보여줍니다. 제작된 머리는 노래까지 부를 수 있으며, 제작 당시 업로드된 음성으로 노래도 부릅니다.

Microsoft VASA-1은 애니메이션 분야의 획기적인 발전입니다.

마이크로소프트에 따르면, 새로운 AI 모델은 아직 연구 단계에 있으며, 일반 대중에게 공개할 계획은 아직 없으며, 마이크로소프트 연구원들만 접근할 수 있다고 합니다. 그러나 마이크로소프트는 놀라운 사실감과 너무나 생생하게 느껴지는 입술 움직임을 보여주는 여러 데모 샘플을 공개했습니다.

데모에서는 마치 카메라 앞에 앉아 촬영 중인 것처럼 실제처럼 보이는 사람들이 등장합니다. 머리 움직임은 사실적이고 매우 자연스러워 보이며, 오디오에 맞춰 움직이는 입술 움직임은 매우 뛰어납니다. 다만 자연스럽지 않다고 지적할 만한 부분은 거의 없어 보입니다. 전반적인 입 모양 동기화는 놀랍습니다.

마이크로소프트는 이 모델이 가상 캐릭터를 애니메이션화하기 위해 개발되었다고 밝혔으며, 데모에 등장하는 모든 인물은 ​​합성된 것이라고 주장했습니다. 마이크로소프트는 이 모델이 OpenAI의 이미지 생성기인 DALL-E에서 생성되었다고 밝혔습니다. 따라서 AI가 생성한 모델을 애니메이션화할 수 있다면, 실제 인물의 사진을 애니메이션화하는 데 훨씬 더 큰 잠재력이 있다고 생각합니다. 더 사실적이고 다루기 훨씬 쉬워질 것입니다.

Vasa-1의 사용 사례와 잠재적 오용

VASA-1의 실제 활용 가능성을 살펴보면, 기본적으로 애니메이션 영화 속 캐릭터를 애니메이션화하는 데 사용될 수 있으며, 자연스러운 표정과 머리 움직임을 통해 캐릭터에게 더욱 사실적인 느낌을 부여할 수 있습니다. 또 다른 활용 사례로는 비디오 게임(Grand Theft Auto 등)이 있습니다. 미래에는 이미지 생성기에서 캐릭터를 생성하고 VASA-1로 애니메이션화하는 초현실적인 AI 기반 영화나 시리즈 제작에 사용될 수 있으며, 관객은 캐릭터가 인간이라는 사실조차 느끼지 못할 수도 있습니다.

이 도구를 창의적으로 활용하는 것 외에도 악의적인 목적의 콘텐츠 제작에도 활용될 수 있습니다. VASA-1은 딥페이크 제작에 악용될 가능성이 있는데, 딥페이크 제작에 연루된 사람이라면 누구나 악의적인 수법을 확장하고 더욱 현실적인 오도 콘텐츠를 제작할 수 있기 때문입니다. 바이든이 예비 선거 전 투표를 막으려 했던 음성 관련 로보콜 스캔들을 기억하시나요? 이제 로보콜 이후 매우 사실적인 표정을 담은 로보비디오가 제작될 가능성이 있습니다.

오용의 잠재적 위험 때문에 Microsoft가 자사 연구원들에게만 테스트를 제한했을 가능성이 있습니다. Microsoft 연구원들에 따르면, 이 도구는 다른 도구들 처럼 사람을 사칭하는 오해의 소지가 있고 기만적인 콘텐츠를 만드는 데 사용될 수 있지만 , 긍정적인 용도로 활용될 수 있는 애플리케이션을 목표로 하고 있습니다. Nvidia와 Runway AI도 동일한 기능에 대한 모델을 출시했지만, VASA-1이 훨씬 더 현실적이고 유망한 후보로 보입니다.