OpenAI推出具备推理、翻译和实时转录功能的语音模型

OpenAI周三在其API中发布了一代新的语音模型，为开发人员提供了构建应用程序的工具，这些应用程序可以推理口语请求，翻译超过70种语言，并实时转录语音。

这三个模型分别命名为GPT-Realtime-2、GPT-Realtime-Translate和GPT-Realtime-Whisper。它们将AI语音界面从简单的问答交换推进到一个AI代理可以在对话过程中倾听、思考和行动的新领域。

GPT-Realtime-2为语音带来更清晰的推理

GPT-Realtime-2是旗舰产品。OpenAI表示，它提供GPT-5级别的推理能力，这是其前身GPT-Realtime-1.5的重大升级。

该模型在Big Bench Audio（一个音频智能基准）上得分高出15.2%，在测试多轮口语对话中指令遵循能力的Audio MultiChallenge上得分高出13.8%。

实际升级针对构建生产语音代理的开发人员。该模型现在支持128K上下文窗口，是之前32K限制的四倍，并提供从“最小”到“xhigh”的五种可调整推理努力层级。

它可以同时调用多个工具，通过口语确认从错误中恢复，并在处理请求时产生简短的过渡短语，如“让我检查一下”。

GPT-Realtime-Translate处理实时语音翻译。它接受超过70种输入语言，并以13种语言输出，旨在与说话者保持同步。

GPT-Realtime-Whisper提供流式语音转文本（STT），在单词被说出时进行转录，而不是等待完整的语句完成。

Zillow、Deutsche Telekom在生产环境中测试这些模型

几家公司获得了早期访问权限。Zillow正在构建一个语音助手，可以处理复杂的房地产查询，调用工具搜索房源，并遵守公平住房法规。

该公司报告称，在使用GPT-Realtime-2进行提示优化后，其最困难的对抗性基准测试中的呼叫成功率提高了26点，达到95%，而之前为69%。

Deutsche Telekom正在测试客户支持中的实时翻译，允许呼叫者使用他们喜欢的语言说话，而模型则在双方处理转换。

Priceline正在探索基于语音的旅行助手，可以在一个会话中管理航班搜索、酒店更改和现场翻译。

这些模型针对希望扩展客户服务能力的公司，但也指出在教育、媒体、活动和创作者平台方面的潜在应用。

OpenAI 表示它在新模型中内置了内容审核，具有可以停止检测到违反有害内容指导方针的对话的触发器。该公司将这些护栏描述为对垃圾邮件、欺诈和其他形式滥用的保护。

在定价方面，Translate和Whisper模型按分钟计费。GPT-Realtime-2按令牌消耗计费。所有三种模型都可通过OpenAI的Realtime API获得，可通过WebRTC、WebSocket和SIP连接方法访问。