マイクロソフトのVASA-1は、たった一枚の画像からリアルな会話顔を生成できる。

マイクロソフトは最近のホワイトペーパーで、静止画と音声サンプルをアップロードするだけで、見た目も音声もリアルな話し手を生成する新しい AI モデルを紹介しました。

この新しいモデルは「VASA-1」と名付けられ、ポートレート写真1枚と音声ファイル1つだけで、それらを合成し、表情、リップシンク、頭の動きを再現した短い動画を作成します。作成された頭部は歌を歌うことさえ可能で、その歌声は作成時にアップロードされた音声で再生されます。

Microsoft VASA-1はアニメーションの画期的な進歩です

マイクロソフトによると、この新しいAIモデルはまだ研究段階にあり、一般公開の予定はなく、マイクロソフトの研究者のみがアクセスできるとのことだ。しかし、同社はデモのサンプルをいくつか公開しており、驚くほどリアルな動きと、まるで生きているかのような唇の動きが見られる。

デモでは、まるでカメラの前に座って撮影されているかのような、リアルな人物が登場します。頭の動きはリアルで非常に自然で、音声に合わせた唇の動きも非常に優れています。ただし、不自然さを指摘する点はほとんど見当たりません。全体的な口の動きの同期は驚異的です。

Microsoftによると、このモデルは仮想キャラクターをアニメーション化するために開発されたとのことです。デモに登場する人物はすべて合成で、OpenAIの画像生成ツールであるDALL-Eから生成されたとのことです。AI生成モデルをアニメーション化できるのであれば、実在の人物の写真をアニメーション化できる可能性ははるかに高く、よりリアルで扱いやすいものになるはずです。

Vasa-1の使用例と潜在的な悪用

VASA-1の実用化の可能性について見てみると、まずはアニメ映画のキャラクターアニメーションに活用でき、自然な表情や頭の動きでキャラクターのリアル感を高めることができます。また、全く同じ理由でビデオゲームにも応用できるでしょう。例えば、『グランド・セフト・オート』などが挙げられます。将来的には、AIによるハイパーリアリスティックな映画やシリーズに活用されるかもしれません。そこでは、画像ジェネレーターからキャラクターを生成し、VASA-1でアニメーション化することで、観客はキャラクターが人間ではないとさえ感じないかもしれません。

このツールは創造的な用途に加え、悪意のあるコンテンツの作成にも活用される可能性があります。VASA-1の潜在的な悪用例としては、ディープフェイクへの利用が挙げられます。ディープフェイク作成に携わる者は、悪質な手法を巧みに利用し、よりリアルな誤解を招くコンテンツを容易に作成できるようになるからです。予備選挙前にバイデン氏の投票を控えるよう呼びかけたロボコール事件を覚えていますか？今度は、ロボコール後に非常にリアルな人間の表情でロボビデオが作られる可能性があります。

悪用される可能性への懸念から、Microsoftはテストを自社の研究者のみに限定しているのかもしれません。Microsoftの研究者によると、このツールは他のツールと同様に、人間になりすますための誤解を招くようなコンテンツの作成に利用される可能性がありますが、彼らは肯定的な用途での活用を目指しています。NvidiaとRunway AIも同様の機能を持つモデルを公開していますが、VASA-1ははるかに現実的で有望な候補と言えるでしょう。