OpenAI rilascia modelli vocali che ragionano, traducono e trascrivono in diretta

OpenAI ha rilasciato una nuova generazione di modelli vocali nella sua API mercoledì, dando agli sviluppatori strumenti per creare app in grado di ragionare sulle richieste vocali, tradurre tra oltre 70 lingue e trascrivere il parlato mentre avviene.

I tre modelli sono denominati GPT-Realtime-2, GPT-Realtime-Translate e GPT-Realtime-Whisper. Spostano le interfacce vocali AI oltre semplici scambi di domande e risposte in un territorio in cui un agente AI può ascoltare, pensare e agire a metà conversazione.

GPT-Realtime-2 porta un ragionamento più affilato alla voce

GPT-Realtime-2 è il modello principale. OpenAI afferma che offre un ragionamento di classe GPT-5, un passo significativo in avanti rispetto al suo predecessore, GPT-Realtime-1.5.

Il modello ha segnato il 15,2% in più su Big Bench Audio, un benchmark per l'intelligenza audio, e il 13,8% in più su Audio MultiChallenge, che testa il rispetto delle istruzioni nel dialogo vocale multi-turno.

I miglioramenti pratici mirano agli sviluppatori che costruiscono agenti vocali di produzione. Il modello ora supporta una finestra di contesto da 128K, quadruplicata rispetto al limite precedente di 32K, e offre cinque livelli di sforzo di ragionamento regolabile da “minimo” a “xhigh.”

Può chiamare più strumenti simultaneamente, recuperare dagli errori con riconoscimenti vocali e produrre brevi frasi di transizione come “lasciami controllare” mentre elabora una richiesta.

GPT-Realtime-Translate gestisce la traduzione vocale in diretta. Accetta più di 70 lingue di input e produce output in 13, progettato per tenere il passo con un parlante in tempo reale.

GPT-Realtime-Whisper fornisce speech-to-text (STT) in streaming, trascrivendo le parole mentre vengono pronunciate invece di attendere un'utterance completata.

Zillow e Deutsche Telekom testano i modelli in produzione

Diverse aziende hanno ottenuto accesso anticipato. Zillow sta costruendo un assistente vocale in grado di elaborare query immobiliari complesse, gestire chiamate a strumenti per cercare annunci e conformarsi alle normative Fair Housing.

L'azienda ha riportato un miglioramento di 26 punti nel tasso di successo delle chiamate sul suo benchmark avversario più difficile dopo l'ottimizzazione del prompt con GPT-Realtime-2, raggiungendo il 95% rispetto al 69% precedente.

Deutsche Telekom sta testando la traduzione in tempo reale per il supporto clienti, permettendo ai chiamanti di parlare nella loro lingua preferita mentre il modello gestisce la conversione su entrambi i lati.

Priceline sta esplorando un assistente vocale per i viaggi che potrebbe gestire ricerche di voli, cambi di hotel e traduzione sul posto in una singola sessione.

I modelli mirano alle aziende che cercano di espandere le capacità di servizio clienti, ma hanno anche notato potenziali applicazioni in ambito educativo, media, eventi e piattaforme per creator.

OpenAI ha dichiarato di aver integrato la moderazione dei contenuti nei nuovi modelli, con trigger che possono interrompere le conversazioni rilevate come violatrici delle linee guida sui contenuti dannosi. L'azienda ha inquadrato le protezioni come difesa contro spam, frodi e altre forme di abuso.

Per quanto riguarda i prezzi, i modelli Translate e Whisper fatturano al minuto. GPT-Realtime-2 fattura in base al consumo di token. Tutti e tre sono disponibili tramite la Realtime API di OpenAI, accessibile tramite metodi di connessione WebRTC, WebSocket e SIP.