OpenAI выпускает голосовые модели, которые рассуждают, переводят и транскрибируют в реальном времени

OpenAI выпустила новое поколение голосовых моделей в своем API в среду, предоставив разработчикам инструменты для создания приложений, которые могут рассуждать над устными запросами, переводить на более чем 70 языков и транскрибировать речь по мере ее возникновения.

Три модели называются GPT-Realtime-2, GPT-Realtime-Translate и GPT-Realtime-Whisper. Они выводят голосовые интерфейсы ИИ за рамки простых вопросов и ответов в область, где агент ИИ может слушать, думать и действовать в середине разговора.

GPT-Realtime-2 обеспечивает более четкое рассуждение в голосе

GPT-Realtime-2 является флагманской моделью. OpenAI заявляет, что она предлагает рассуждение уровня GPT-5, что является значительным шагом вперед по сравнению с ее предшественником, GPT-Realtime-1.5.

Модель показала на 15,2% выше на Big Bench Audio, бенчмарке для аудиоинтеллекта, и на 13,8% выше на Audio MultiChallenge, который проверяет следование инструкциям в многотуровом голосовом диалоге.

Практические улучшения ориентированы на разработчиков, создающих голосовых агентов для производства. Модель теперь поддерживает контекстное окно объемом 128K, что в четыре раза больше предыдущего предела в 32K, и предлагает пять уровней настраиваемых усилий по рассуждению от «минимального» до «xhigh».

Она может вызывать несколько инструментов одновременно, восстанавливаться после ошибок с помощью устных подтверждений и создавать короткие связующие фразы, такие как «позвольте мне проверить это», во время обработки запроса.

GPT-Realtime-Translate обрабатывает перевод речи в реальном времени. Она принимает более 70 входных языков и выводит результат на 13 языках, предназначенных для синхронизации с говорящим в реальном времени.

GPT-Realtime-Whisper обеспечивает потоковую передачу речи в текст (STT), транскрибируя слова по мере их произнесения, а не ожидая завершения высказывания.

Zillow и Deutsche Telekom тестируют модели в производстве

Несколько компаний получили ранний доступ. Zillow создает голосового помощника, который может обрабатывать сложные запросы в сфере недвижимости, выполнять вызовы инструментов для поиска объявлений и соблюдать правила справедливого жилья.

Компания сообщила об улучшении на 26 пунктов в показателе успешности звонков на своем самом сложном тестовом наборе после оптимизации промптов с помощью GPT-Realtime-2, достигнув 95% по сравнению с предыдущими 69%.

Deutsche Telekom тестирует перевод в реальном времени для службы поддержки клиентов, позволяя абонентам говорить на предпочитаемом языке, в то время как модель обрабатывает конвертацию с обеих сторон.

Priceline исследует создание голосового помощника для путешествий, который мог бы управлять поиском рейсов, изменением отелей и переводом на месте в рамках одной сессии.

Модели ориентированы на компании, стремящиеся расширить возможности обслуживания клиентов, но также отмечены потенциальные приложения в образовании, медиа, мероприятиях и платформах для создателей контента.

OpenAI заявила, что внедрила модерацию контента в новые модели, с триггерами, которые могут прервать разговоры, признанные нарушающими правила в отношении вредоносного контента. Компания представила эти защитные механизмы как защиту от спама, мошенничества и других форм злоупотреблений.

Что касается ценообразования, модели Translate и Whisper тарифицируются поминутно. GPT-Realtime-2 тарифицируется по потреблению токенов. Все три доступны через Realtime API OpenAI, доступный через методы подключения WebRTC, WebSocket и SIP.