MicrosoftのVASA-1は、1枚の画像からリアルな話す顔を作成できる

最近のホワイトペーパーで、Microsoftは、静止画と音声サンプルをアップロードするだけで生成され、見た目も音もリアルな話す頭部を生成する新しいAIモデルを紹介した。

この新しいモデルはVASA-1と名付けられており、ポートレート風の画像1枚と音声のオーディオファイルのみを必要とし、それらを融合させて、表情、リップシンク、頭部の動きを伴う話す頭部の短い動画を作成する。生成された頭部は、作成時にアップロードされた音声に合わせて歌を歌うことさえできる。

Microsoft VASA-1はアニメーションにおける画期的な存在

Microsoftによると、この新しいAIモデルはまだ研究段階にあり、一般公開の計画はなく、Microsoftの研究者のみがアクセスできる。しかし、同社は驚くべきリアリティと、あまりにもリアルに見える唇の動きを示すデモのサンプルをいくつか共有した。

デモでは、カメラの前に座って撮影されているかのように見えるリアルな人々が映し出されている。頭部の動きはリアルで非常に自然に見え、音声に合わせた唇の動きは非常に優れており、不自然な点として特に指摘すべきことはほとんどない。全体的な口の同期は驚異的である。

Microsoftは、このモデルはバーチャルキャラクターをアニメーション化するために開発されたと述べ、デモに映っているすべての人物は合成されたものであり、OpenAIの画像ジェネレーターであるDALL-Eから生成されたモデルであると主張した。したがって、AI生成モデルをアニメーション化できるのであれば、当然、あらゆる実在する人物の写真をアニメーション化する可能性がさらに大きく、よりリアルで扱いやすいことがわかる。

Vasa-1の使用例と潜在的な悪用

VASA-1の実用的な使用可能性を見ると、まず第一に、アニメーション映画のキャラクターをアニメーション化するために使用でき、自然な表情や頭部の動きでキャラクターによりリアルな印象を与えることができる。もう一つの用途は、同じ理由でビデオゲーム、例えば『グランド・セフト・オート』のようなものにおける使用が考えられる。将来的には、キャラクターが画像ジェネレーターから生成され、VASA-1によってアニメーション化される超リアルなAI生成映画やシリーズに使用される可能性があり、観客はキャラクターが人間ではないことに気づかないかもしれない。

ツールの創造的な利用に加え、悪意のある目的でコンテンツを作成するためにも利用される可能性がある。VASA-1の潜在的な悪用は、ディープフェイクの作成に利用されることで、ディープフェイク作成に関わる誰もがその悪質な戦術をスケールアップし、よりリアルな誤解を招くコンテンツを生成しやすくなることである。予備選挙前に投票を控えるよう促すためにバイデン氏の音声を使用したロボコールスキャンダルを覚えているだろうか？今後はロボコールに続き、非常にリアルな人間の表情を伴うロボビデオが登場するかもしれない。

誤用の潜在的なリスクが、Microsoftがテストを研究者のみに限定している理由かもしれない。Microsoftの研究者によると、このツールは他のツールと同様に、人間になりすましたり、誤解を招く欺瞞的なコンテンツを作成するために使用できる可能性があるが、彼らは肯定的な用途の実現を目指している。NvidiaやRunway AIも同様の機能を持つモデルをリリースしているが、VASA-1ははるかにリアルで有望な候補者に見える。