Meta 的 Voicebox 修改能力如何超越之前的扩散模型

Meta AI 研究人员通过推出 Voicebox，在语音生成人工智能领域取得了突破性进展。这一前沿模型具有跨各种语音生成任务进行泛化的独特能力，超越了之前的最先进性能。Voicebox 利用一种称为流匹配（Flow Matching）的方法，该方法优于扩散模型，并使模型能够修改给定音频样本的任何部分。在可懂度、音频相似性和任务多功能性方面取得了令人瞩目的成果，Voicebox 代表了生成式语音模型的重大突破。

语音生成的全新方法

现有的语音合成器存在局限性，主要源于其对精心准备的训练数据的依赖。Voicebox 通过基于流匹配（Flow Matching）模型构建，克服了这一限制，使其能够从原始音频和配套转录文本中学习。通过在多种语言的公共领域有声书录音和转录文本（超过 50,000 小时）上进行训练，Voicebox 能够根据周围的音频和转录上下文预测并生成语音片段。这种创新方法增强了模型在音频录音中间生成语音的能力，而无需重新创建整个输入。

Voicebox 的多样化应用

Voicebox 的能力扩展到各种语音生成任务，展示了其多功能性和潜在影响力。

上下文内文本转语音合成

Voicebox 可以通过匹配给定输入样本（短至两秒）的音频风格来合成语音。这一功能为未来项目带来了希望，例如为无法说话的人提供语音支持，或为非玩家角色和虚拟助手使用的声音进行定制。

跨语言风格迁移

凭借生成多种语言语音的能力，Voicebox 可以阅读包括英语、法语、德语、西班牙语、波兰语和葡萄牙语在内的文本段落。这一突破有望促进讲不同语言的个人之间自然且真实的交流。

语音去噪和编辑

Voicebox 的上下文学习能力实现了音频录音的无缝编辑。它可以有效去除短持续时间噪声或替换语音片段中口误的单词，而无需重新录制整个录音。这一能力可能会彻底改变音频编辑，使其像流行的图像编辑工具使照片调整变得容易一样易于使用。

多样化的语音采样

由于学习了多样化的真实世界数据，Voicebox 生成的语音更能代表人们自然的说话方式。这一能力有助于生成用于训练语音助手模型的合成数据。值得注意的是，在 Voicebox 生成的合成语音上训练的语音识别模型，其表现几乎与在真实语音上训练的模型一样好，与之前文本转语音模型 45% 到 70% 的错误率下降相比，仅下降了 1%。在跨语言风格迁移方面，Voicebox 优于 YourTTS，将平均词错误率从 10.9% 降低到 5.2%，并将音频相似度从 0.335 提高到 0.481。

负责任地分享生成式 AI 研究

虽然 Voicebox 代表了生成式 AI 的重大进步，但 Meta AI 承认潜在风险并负责任地处理其发布。为了解决滥用担忧，开发了一种非常有效的分类器来区分真实语音和使用 Voicebox 生成的音频。虽然目前模型和代码尚未公开，但 Meta AI 分享了音频样本和详细的研究论文，概述了他们的方法和结果，鼓励研究社区在此基础上开展工作，并就负责任的 AI 开发进行对话。

Voicebox 是 Meta AI 最先进的语音生成式 AI 模型，通过在词错误率和音频风格相似度方面超越之前的模型，取得了突破性成果。凭借其跨任务泛化的能力，Voicebox 为各种应用开启了令人兴奋的可能性，包括上下文内文本转语音合成、跨语言风格迁移、语音去噪和编辑以及多样化语音采样。虽然 Meta AI 强调负责任地分享其研究，但他们预计 Voicebox 将对语音生成式 AI 的未来产生积极影响，并期待该领域的进一步进展。