OpenAI liefert Sprachmodelle, die reasoning, übersetzen und transkribieren in Echtzeit

OpenAI hat am Mittwoch eine neue Generation von Sprachmodellen in seiner API veröffentlicht und Entwicklern Tools zur Verfügung gestellt, um Apps zu erstellen, die durch gesprochene Anfragen reasoning durchführen, in über 70 Sprachen übersetzen und Sprache in Echtzeit transkribieren können.

Die drei Modelle heißen GPT-Realtime-2, GPT-Realtime-Translate und GPT-Realtime-Whisper. Sie führen KI-Sprachinterfaces über einfache Frage-Antaus-Tausch hinaus in ein Gebiet, in dem ein KI-Agent zuhören, denken und mitten in einem Gespräch handeln kann.

GPT-Realtime-2 bringt schärferes reasoning zur Stimme

GPT-Realtime-2 ist das Flaggschiff. OpenAI sagt, es biete GPT-5-ähnliches reasoning, ein signifikanter Schritt gegenüber seinem Vorgänger GPT-Realtime-1.5.

Das Modell schnitt auf Big Bench Audio, einem Benchmark für Audio-Intelligenz, um 15,2 % besser ab und auf Audio MultiChallenge, das die Befolgung von Anweisungen in mehrstufigen gesprochenen Dialogen testet, um 13,8 % besser.

Die praktischen Upgrades richten sich an Entwickler, die Produktions-Sprachagenten bauen. Das Modell unterstützt jetzt ein 128K-Kontextfenster, vervierfacht gegenüber dem vorherigen 32K-Limit, und bietet fünf Stufen einstellbarer reasoning-Anstrengung von „minimal“ bis „xhigh“.

Es kann mehrere Tools gleichzeitig aufrufen, sich durch gesprochene Bestätigungen von Fehlern erholen und kurze Überleitungsphrasen wie „lass mich das prüfen“ produzieren, während es eine Anfrage verarbeitet.

GPT-Realtime-Translate behandelt Live-Sprachübersetzung. Es akzeptiert mehr als 70 Eingabesprachen und gibt in 13 Sprachen aus, entwickelt, um mit einem Sprecher in Echtzeit Schritt zu halten.

GPT-Realtime-Whisper bietet Streaming-Sprache-zu-Text (STT) und transkribiert Wörter, während sie gesprochen werden, anstatt auf eine abgeschlossene Äußerung zu warten.

Zillow und Deutsche Telekom testen die Modelle in der Produktion

Mehrere Unternehmen erhielten frühen Zugang. Zillow baut einen Sprachassistenten, der komplexe Immobilienanfragen verarbeiten, Tool-Aufrufe zur Suche in Inseraten durchführen und die Vorschriften zur fairen Wohnraumversorgung (Fair Housing) einhalten kann.

Das Unternehmen meldete eine Verbesserung der Anruferfolgsrate um 26 Punkte auf seinem schwierigsten adversarialen Benchmark nach Prompt-Optimierung mit GPT-Realtime-2, erreicht 95 % im Vergleich zu zuvor 69 %.

Deutsche Telekom testet Echtzeit-Übersetzung für den Kundensupport, sodass Anrufer in ihrer bevorzugten Sprache sprechen können, während das Modell die Konversion auf beiden Seiten übernimmt.

Priceline erforscht einen sprachbasierten Reiseassistenten, der Flugsuchen, Hoteländerungen und vor Ort Übersetzung in einer einzigen Sitzung verwalten könnte.

Die Modelle richten sich an Unternehmen, die ihre Kundenservice-Fähigkeiten erweitern möchten, es wurden jedoch auch potenzielle Anwendungen in Bildung, Medien, Events und Creator-Plattformen erwähnt.

OpenAI gab an, dass es die Inhaltsmoderation in die neuen Modelle integriert hat, mit Auslösern, die Gespräche stoppen können, die als Verstoß gegen Richtlinien für schädliche Inhalte erkannt werden. Das Unternehmen stellte die Schutzvorkehrungen als Schutz gegen Spam, Betrug und andere Formen von Missbrauch dar.

Bei der Preisgestaltung werden die Translate- und Whisper-Modelle pro Minute abgerechnet. GPT-Realtime-2 wird nach Token-Verbrauch abgerechnet. Alle drei sind über OpenAIs Realtime API verfügbar, zugänglich über WebRTC, WebSocket und SIP-Verbindungsmethoden.