OpenAI lanza modelos de voz que razonan, traducen y transcriben en tiempo real

OpenAI lanzó una nueva generación de modelos de voz en su API el miércoles, proporcionando a los desarrolladores herramientas para crear aplicaciones que puedan razonar sobre solicitudes habladas, traducir entre más de 70 idiomas y transcribir el habla a medida que ocurre.

Los tres modelos se llaman GPT-Realtime-2, GPT-Realtime-Translate y GPT-Realtime-Whisper. Estos llevan las interfaces de voz de IA más allá de simples intercambios de preguntas y respuestas hacia un territorio donde un agente de IA puede escuchar, pensar y actuar en medio de una conversación.

GPT-Realtime-2 aporta un razonamiento más preciso a la voz

GPT-Realtime-2 es el modelo insignia. OpenAI afirma que ofrece un razonamiento de nivel GPT-5, un paso significativo respecto a su predecesor, GPT-Realtime-1.5.

El modelo obtuvo un 15,2% más en Big Bench Audio, un punto de referencia para la inteligencia de audio, y un 13,8% más en Audio MultiChallenge, que prueba el seguimiento de instrucciones en diálogos hablados de múltiples turnos.

Las mejoras prácticas están dirigidas a desarrolladores que construyen agentes de voz en producción. El modelo ahora admite una ventana de contexto de 128K, cuadruplicada respecto al límite anterior de 32K, y ofrece cinco niveles de esfuerzo de razonamiento ajustable, desde "mínimo" hasta "xhigh".

Puede llamar a múltiples herramientas simultáneamente, recuperarse de errores con reconocimientos hablados y producir frases puente cortas como "déjame verificar eso" mientras procesa una solicitud.

GPT-Realtime-Translate maneja la traducción de voz en tiempo real. Acepta más de 70 idiomas de entrada y genera salida en 13, diseñado para mantener el ritmo con el hablante en tiempo real.

GPT-Realtime-Whisper proporciona transcripción de voz a texto (STT) en streaming, transcribiendo las palabras a medida que se pronuncian en lugar de esperar a que se complete la enunciación.

Zillow y Deutsche Telekom prueban los modelos en producción

Varias empresas obtuvieron acceso anticipado. Zillow está construyendo un asistente de voz que puede procesar consultas inmobiliarias complejas, realizar llamadas a herramientas para buscar listados y cumplir con las regulaciones de Vivienda Justa.

La compañía reportó una mejora de 26 puntos en la tasa de éxito de llamadas en su benchmark adversarial más difícil tras la optimización de prompts con GPT-Realtime-2, alcanzando el 95% en comparación con el 69% anterior.

Deutsche Telekom está probando la traducción en tiempo real para la atención al cliente, permitiendo a los llamantes hablar en su idioma preferido mientras el modelo maneja la conversión en ambos lados.

Priceline está explorando un asistente de viaje basado en voz que podría gestionar búsquedas de vuelos, cambios de hotel y traducción en el lugar en una sola sesión.

Los modelos están dirigidos a empresas que buscan expandir sus capacidades de atención al cliente, pero también se señalan aplicaciones potenciales en educación, medios, eventos y plataformas de creadores.

OpenAI indicó que incorporó la moderación de contenido en los nuevos modelos, con activadores que pueden detener conversaciones detectadas como violatorias de las directrices de contenido dañino. La empresa enmarcó estas barreras de seguridad como protección contra el spam, el fraude y otras formas de abuso.

En cuanto a los precios, los modelos Translate y Whisper se facturan por minuto. GPT-Realtime-2 se factura por consumo de tokens. Los tres están disponibles a través de la API Realtime de OpenAI, accesible mediante métodos de conexión WebRTC, WebSocket y SIP.