Google DeepMindがAI動画に音声を生成するV2Aを開発

GoogleのAI研究ラボであるDeepMindは、AI生成ビデオの音声や対話を作成できる「V2A」と呼ばれるAIツールの開発に取り組んでいることを明らかにしました。V2A（Video-to-Audio）は、テキストベースのプロンプトとビデオピクセルを使用して、ビデオの対話、音楽、効果音を生成します。

関連記事: Google DeepMind、TacticAIを導入：サッカー戦術の革命

DeepMindによると、生成された効果音や音楽は、ビデオの意図されたトーンやキャラクターと一致します。DeepMindはさらに、この技術がAI生成ビデオにさらに生命力をもたらすのに役立つ可能性があると説明しました。

V2Aは、オーディオをビデオシーンに一致させます

オーディオ生成技術自体は新しいものではありませんが、DeepMindは自社のV2Aツールがオーディオをビデオに自動的に一致させるという点で初のものだと主張しています。

「ビデオ生成モデルは信じられないほどのペースで進化していますが、現在のシステムの多くはサイレント出力しか生成できません」とDeepMindはブログ投稿で書き記しました。

「ビデオ、オーディオ、および追加の注釈でトレーニングすることにより、当社の技術は、特定のオーディオイベントをさまざまな視覚シーンに関連付けることを学習し、注釈やトランスクリプトで提供される情報に応答します。」

DeepMind。

同社は、自社の技術が、音、映像、タイミングを調整する必要がある時間のかかる手動アライメントとは対照的に、自動的であると付け加えました。

DeepMindによると、V2Aツールは、任意のビデオ出力に対して無制限の数のサウンドトラックを生成するために使用できます。ポジティブプロンプトは「生成された出力を望ましい音 toward 誘導するために定義され」、ネガティブプロンプトは「望ましくない音から遠ざけるために定義されます」。

「この柔軟性により、ユーザーはV2Aの出力に対してより多くの制御を持ち、異なるオーディオ出力を迅速に実験して最適なマッチを選択することが可能になります」と同社は述べています。

動画から音声への変換（V2A）における生成技術の進捗をご報告いたします。🎥

サイレントクリップにシーンの音響に一致する音を追加し、画面のアクションに付随するなどすることができます。

ここに4つの例があります – サウンドをオンにしてください。🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62

— Google DeepMind (@GoogleDeepMind) 6月 17日、2024

競争に動じないDeepMind

最新のイノベーションは、DeepMindが業界での支配力を強化しようとしている時期に到来しました。今年初め、英国のAI音声生成企業であるElevenLabsは、シリーズBの資金調達ラウンドで8,000万ドルを調達し、同社の評価額が10億ドルを超えたというマイルストーンを達成しました。これはVerdictによるとのことです。

同社は、ユーザーが100年以上分のオーディオを生成したと述べています。また、同社のオーディオソフトウェアは現在、フォーチュン500企業の41%で使用されていると主張しています。

関連記事：Google DeepMind対OpenAI：AIビデオ生成の競争が激化

この競争にもかかわらず、DeepMindは技術を一般公開する急ぎではないと示唆しています。

「より広い一般公開へのアクセスを検討する前に、当社のV2A技術は厳格な安全性の評価とテストを受けます」と同社は述べています。

DeepMindはまた、V2AはVeoなどのビデオ生成モデルとペアリング可能であり、これによりリアルな効果音の作成が支援されると示唆しました。

CryptopolitanによるEnacy Mapakameのレポート