최근 백서에서 마이크로소프트는 정지 사진과 음성 샘플만 업로드하면 현실적으로 보이고 들리는 토킹 헤드를 생성하는 새로운 AI 모델을 소개했습니다.
새로운 모델의 이름은 VASA-1이며, 인물 사진 1장과 음성 오디오 파일만 있으면 얼굴 표정, 립싱크, 머리 움직임이 포함된 말하는 머리의 짧은 비디오를 만들 수 있습니다. 제작된 헤드는 노래까지 부를 수 있는데, 그 내용은 제작 당시 업로드된 목소리로 나옵니다.
Microsoft VASA-1은 애니메이션의 혁신입니다.
마이크로소프트에 따르면 새로운 AI 모델은 아직 연구 단계에 있으며 일반 대중에게 공개할 계획은 아직 없으며 마이크로소프트 연구진만이 접근할 수 있다. 그러나 회사는 놀라운 현실감과 너무 생생해 보이는 입술 움직임을 보여주는 시연 샘플을 꽤 많이 공유했습니다.
데모에서는 마치 카메라 앞에 앉아 촬영을 받는 것처럼 실제처럼 보이는 사람들을 보여줍니다. 머리의 움직임은 사실적이고 매우 자연스러워 보이며, 오디오에 맞는 입술의 움직임은 매우 뛰어나지만 자연스럽지 않다고 지적할 부분은 거의 없습니다. 전반적인 입 동기화는 경이롭습니다.
마이크로소프트는 이 모델이 가상 캐릭터를 애니메이션화하기 위해 개발됐다고 밝혔으며, 데모에 등장하는 인물은 모두 합성이라고 주장했다. 모델은 OpenAI의 이미지 생성기인 DALL-E에서 생성됐다. 따라서 우리는 AI가 생성한 모델을 애니메이션화할 수 있다면 실제 사람의 사진을 애니메이션화할 수 있는 잠재력이 훨씬 더 커질 것이라고 생각합니다. 이는 더 현실적이고 다루기가 훨씬 쉬울 것입니다.
Vasa-1의 사용 사례와 잠재적인 오용
VASA-1의 실용화 가능성을 살펴보면 기본적으로 애니메이션 영화 속 캐릭터를 애니메이션화하는 데 사용할 수 있어 자연스러운 표정과 머리 움직임으로 캐릭터에 더욱 사실적인 느낌을 줄 수 있습니다. 또 다른 용도는 비디오 게임에 있을 수 있습니다. 같은 이유로 Grand Theft Auto 등을 생각해 보세요. 미래에는 이미지 생성기에서 캐릭터를 생성하고 VASA-1로 애니메이션을 적용할 수 있는 초현실적인 AI 생성 영화나 시리즈에 사용될 수 있으며, 관객은 캐릭터가 인간이 아니라고 느끼지 못할 수도 있습니다.
도구를 창의적으로 사용하는 것 외에도 악의적인 목적으로 콘텐츠를 만드는 데 활용할 수도 있습니다. VASA-1의 잠재적인 오용은 딥페이크에 대한 활용일 수 있습니다. 딥페이크 생성에 관련된 모든 사람이 나쁜 전술을 확장하고 보다 현실적으로 잘못된 콘텐츠를 생성하기 쉽기 때문입니다. 예비 선거 전에 사람들이 투표하지 못하도록 하는 바이든의 목소리와 관련된 자동녹음전화 스캔들을 기억하십니까? 이제는 자동녹음전화 이후의 로봇비디오가 될 수도 있고, 매우 사실적인 인간의 표정이 담겨 있을 수도 있습니다.
오용의 잠재적 위험은 Microsoft가 테스트를 연구원에게만 제한한 이유일 수 있습니다. Microsoft 에 따르면 이 도구는 다른 도구와 마찬가지로 사람을 사칭하기 위한 오해의 소지가 있고 속이는 콘텐츠를 만드는 데 사용될 수 있지만 긍정적인 사용 애플리케이션을 목표로 하고 있습니다. Nvidia와 Runway AI도 동일한 기능에 대한 모델을 출시했지만 VASA-1은 훨씬 더 현실적이고 유망한 후보로 보입니다.
