- Meta AIは、タスク間で汎化し最先端のパフォーマンスを実現する革新的な音声生成AIモデル「Voicebox」を発表しました。
- VoiceboxはFlow Matching手法を採用しており、従来の拡散モデルを上回り、オーディオサンプルの任意の部分を変更することが可能です。
- Voiceboxの多様な用途には、コンテキスト内でのテキストから音声への合成、言語をまたいだスタイル転送、音声のノイズ除去および編集、そして多様な音声サンプリングが含まれます。
Meta AIの研究者たちは、Voiceboxの導入により、音声の生成AIにおいて画期的な進歩を達成しました。この最先端モデルは、さまざまな音声生成タスクにわたって汎化できる独自の能力を持っており、以前の最先端パフォーマンスを上回っています。Voiceboxはフローマッチング（Flow Matching）と呼ばれる方法を利用しており、これは拡散モデルを上回り、モデルが与えられたオーディオサンプルの任意の部分を変更できるようにします。明瞭さ、オーディオの類似性、タスクの多様性において顕著な結果を示すVoiceboxは、生成音声モデルにおける重要なブレークスルーを表しています。
音声生成への新しいアプローチ
既存の音声合成器は、主に綿密に準備されたトレーニングデータへの依存により制限があります。Voiceboxは、フローマッチングモデルに基づいて構築することで、この制限を克服し、生オーディオとそれに伴う文字起こしから学習できるようにします。複数の言語で公開ドメインのオーディオブックから50,000時間以上の録音された音声と文字起こしでトレーニングすることで、Voiceboxは周囲のオーディオと文字起こしのコンテキストに基づいて音声セグメントを予測および生成できます。この革新的なアプローチにより、モデルは全体の入力を再作成することなく、オーディオ録音の途中でも音声を生成する能力が向上します。
Voiceboxの多様なアプリケーション
Voiceboxの機能はさまざまな音声生成タスクにわたって広がり、その多様性と潜在的な影響を示しています。
コンテキスト内テキスト読み上げ合成
Voiceboxは、2秒という短い入力サンプルのオーディオスタイルに一致させることで音声を合成できます。この機能は、話すことのできない個人の音声を実現したり、ノンプレイヤーキャラクターやバーチャルアシスタントで使用される声をカスタマイズしたりするなど、将来のプロジェクトで有望です。
異言語間スタイル転送
複数の言語で音声を生成する能力を持つVoiceboxは、英語、フランス語、ドイツ語、スペイン語、ポーランド語、ポルトガル語を含む言語のテキストの段落を読むことができます。このブレークスルーは、異なる言語を話す個人間の自然で本格的なコミュニケーションを促進する可能性があります。
音声のノイズ除去と編集
Voiceboxのコンテキスト内学習により、オーディオ録音のシームレスな編集が可能になります。これは、録音全体をやり直すことなく、音声セグメント内の短時間のノイズを効果的に除去したり、誤って発音された言葉を置き換えたりできます。この機能はオーディオ編集を革命化し、人気のある画像編集ツールが写真調整を可能にしたように、アクセスしやすくする可能性があります。
多様な音声サンプリング
多様な現実世界のデータから学習したVoiceboxは、人々が自然に話す方法をより代表する音声を生成します。この機能は、音声アシスタントモデルのトレーニング用の合成データを生成するのを支援できます。驚くべきことに、Voiceboxが生成した合成音声でトレーニングされた音声認識モデルは、以前のテキスト読み上げモデルの45〜70％の劣化と比較して、わずか1％の誤り率の劣化で、実際の音声でトレーニングされたモデルとほぼ同等のパフォーマンスを発揮します。異言語間スタイル転送の場合、VoiceboxはYourTTSを上回り、平均単語誤り率を10.9％から5.2％に削減し、オーディオの類似性を0.335から0.481に向上させます。
生成AI研究の責任ある共有
Voiceboxは生成AIにおける重要な進歩を表していますが、Meta AIはその潜在的なリスクを認識し、責任を持ってその公開を行っています。悪用への懸念に対処するため、音声の真偽とVoiceboxで生成された音声を区別する非常に効果的な分類器が開発されました。現在、モデルやコードは一般公開されていませんが、Meta AIは音声サンプルと、彼らのアプローチと結果を詳述した詳細な研究論文を共有し、研究コミュニティが彼らの作業に基づいて構築し、責任あるAI開発に関する議論に参加することを促しています。
音声のための最先端の生成AIモデルであるVoiceboxは、単語誤り率や音声スタイルの類似性において以前のモデルを上回る画期的な成果を達成しました。タスク全体での汎化能力を備えたVoiceboxは、コンテキスト内テキスト読み上げ合成、異言語スタイル転送、音声ノイズ除去および編集、多様な音声サンプリングなど、さまざまなアプリケーションにおいてエキサイティングな可能性を開きます。Meta AIは研究の責任ある共有を強調していますが、Voiceboxが音声のための生成AIの未来に与えるポジティブな影響を期待し、この分野におけるさらなる進歩を楽しみにしています。
暗号通貨のニュースを読むだけでなく、それを理解しましょう。ニュースレターに登録してください。無料です。
免責事項。 ここに提供される情報は取引助言ではありません。Cryptopolitan.comは、このページに記載された情報に基づいて行われた投資について一切の責任を負いません。投資判断を下す前に、独立した調査および/または資格のある専門家への相談を強く推奨します。
グローリー・カブル
グロリー氏は、AIツールとリサーチに精通した非常に知識豊富なジャーナリストです。AIに情熱を持ち、同分野に関する複数の記事を発表しています。人工知能、機械学習、ディープラーニングの最新動向を常に把握し、定期的に執筆活動を行っています。
