OpenAI lança modelos de voz que raciocinam, traduzem e transcrevem ao vivo

A OpenAI lançou uma nova geração de modelos de voz em sua API na quarta-feira, dando aos desenvolvedores ferramentas para criar aplicativos que podem raciocinar sobre solicitações faladas, traduzir entre mais de 70 idiomas e transcrever fala conforme acontece.

Os três modelos são nomeados GPT-Realtime-2, GPT-Realtime-Translate e GPT-Realtime-Whisper. Eles levam as interfaces de voz de IA além de simples trocas de perguntas e respostas para um território onde um agente de IA pode ouvir, pensar e agir no meio da conversa.

GPT-Realtime-2 traz raciocínio mais afiado para a voz

GPT-Realtime-2 é o modelo principal. A OpenAI diz que oferece raciocínio de classe GPT-5, um passo significativo em relação ao seu antecessor, GPT-Realtime-1.5.

O modelo obteve pontuação 15,2% mais alta no Big Bench Audio, um benchmark para inteligência de áudio, e 13,8% mais alto no Audio MultiChallenge, que testa o seguimento de instruções em diálogos falados de múltiplas rodadas.

As atualizações práticas visam desenvolvedores construindo agentes de voz de produção. O modelo agora suporta uma janela de contexto de 128K, quadruplicada em relação ao limite anterior de 32K, e oferece cinco níveis de esforço de raciocínio ajustável de “mínimo” a “xhigh”.

Ele pode chamar várias ferramentas simultaneamente, recuperar-se de erros com reconhecimento falado e produzir frases curtas de transição como “deixe-me verificar isso” enquanto processa uma solicitação.

GPT-Realtime-Translate lida com tradução de fala ao vivo. Ele aceita mais de 70 idiomas de entrada e produz saída em 13, projetado para acompanhar um falante em tempo real.

GPT-Realtime-Whisper fornece transcrição de fala para texto (STT) em streaming, transcrevendo palavras conforme são faladas em vez de esperar por uma utterance completa.

Zillow e Deutsche Telekom testam os modelos em produção

Várias empresas tiveram acesso antecipado. A Zillow está construindo um assistente de voz que pode processar consultas imobiliárias complexas, lidar com chamadas de ferramentas para pesquisar listagens e cumprir as regulamentações de Habitação Justa (Fair Housing).

A empresa relatou uma melhoria de 26 pontos na taxa de sucesso de chamadas em seu benchmark adversarial mais difícil após a otimização de prompts com GPT-Realtime-2, atingindo 95% em comparação com 69% anteriormente.

Deutsche Telekom está testando tradução em tempo real para atendimento ao cliente, permitindo que os ligantes falem em seu idioma preferido enquanto o modelo lida com a conversão em ambos os lados.

A Priceline está explorando um assistente de viagem baseado em voz que poderia gerenciar pesquisas de voos, alterações de hotel e tradução no local em uma única sessão.

Os modelos visam empresas que procuram expandir as capacidades de atendimento ao cliente, mas também notaram aplicações potenciais em educação, mídia, eventos e plataformas de criadores.

A OpenAI disse que construiu moderação de conteúdo nos novos modelos, com gatilhos que podem interromper conversas detectadas como violando diretrizes de conteúdo prejudicial. A empresa enquadrou as proteções como proteção contra spam, fraude e outras formas de abuso.

Em termos de preços, os modelos Translate e Whisper são cobrados por minuto. O GPT-Realtime-2 é cobrado por consumo de token. Os três estão disponíveis através da API Realtime da OpenAI, acessível via métodos de conexão WebRTC, WebSocket e SIP.