أطلقت OpenAI جديداً من النماذج الصوتية في واجهة برمجة التطبيقات (API) يوم الأربعاء، مما يمنح المطورين أدوات لبناء تطبيقات يمكنها التفكير في الطلبات المنطوقة، والترجمة عبر أكثر من 70 لغة، ونسخ الكلام كما يحدث.

النماذج الثلاثة تسمى GPT-Realtime-2 وGPT-Realtime-Translate وGPT-Realtime-Whisper. تنقل واجهات الصوت بالذكاء الاصطناعي إلى ما وراء تبادل الأسئلة والأجوبة البسيطة إلى منطقة يمكن فيها لوكيل الذكاء الاصطناعي الاستماع والتفكير والتصرف أثناء المحادثة.

GPT-Realtime-⟦N1⟧ يجلب تفكيراً أكثر حدة للصوت

GPT-Realtime-2 يجلب استدلالاً أكثر حدة للصوت

تستهدف الترقيات العملية المطورين الذين يبنون وكلاء صوت للإنتاج. يدعم النموذج الآن نافذة سياق 128K، أي أربعة أضعاف الحد السابق البالغ 32K، ويوفر خمس مستويات من جهد التفكير القابل للتعديل من «حد أدنى» إلى «xhigh».

تختبر Deutsche Telekom الترجمة في الوقت الفعلي لدعم العملاء، مما يسمح للمتصلين بالتحدث بلغتهم المفضلة بينما يتولى النموذج التحويل من الجانبين.

يمكنه استدعاء أدوات متعددة في وقت واحد، والتعافي من الأخطاء بإقرارات منطوقة، وإنتاج عبارات جسر قصيرة مثل «دعني أتحقق من ذلك» أثناء معالجة الطلب.

يتعامل GPT-Realtime-Translate مع الترجمة الصوتية المباشرة. يقبل أكثر من 70 لغة إدخال ويخرج بـ 13 لغة، مصممة لمواكبة المتحدث في الوقت الفعلي.

يوفر GPT-Realtime-Whisper تحويل الكلام إلى نص (STT) بالبث، وينسخ الكلمات كما يتم نطقها بدلاً من الانتظار حتى اكتمال العبارة.

تختبر Zillow وDeutsche Telekom النماذج في الإنتاج

حصلت عدة شركات على وصول مبكر. تبني Zillow مساعد صوت يمكنه معالجة استعلامات العقارات المعقدة، ومعالجة استدعاءات الأدوات للبحث في القوائم، والامتثال لقوانين الإسكان العادل.

أبلغت الشركة عن تحسن بنسبة 26 نقطة في معدل نجاح المكالمات على أصعب معيار معادٍ لها بعد تحسين المطالبة مع GPT-Realtime-2، مما وصل إلى 95٪ مقارنة بـ 69٪ سابقاً.

تستكشف Priceline مساعد سفر قائم على الصوت يمكنه إدارة بحث الرحلات الجوية، وتغييرات الفنادق، والترجمة في الموقع في جلسة واحدة.

قالت OpenAI إنها بنت رقابة على المحتوى في النماذج الجديدة، مع مشغلات يمكنها إيقاف المحادثات التي يتم اكتشافها على أنها تنتهك إرشادات المحتوى الضار. صورت الشركة الحواجز الواقية على أنها حماية ضد البريد العشوائي، والاحتيال، وأشكال أخرى من الإساءة.

تستهدف النماذج الشركات التي تبحث عن توسيع قدرات خدمة العملاء، لكنها أشارت أيضاً إلى التطبيقات المحتملة عبر التعليم، والإعلام، والفعاليات، ومنصات المبدعين.

فيما يتعلق بالتسعير، يتم فوترة نماذج Translate وWhisper بالدقيقة. يتم فوترة GPT-Realtime-2 بناءً على استهلاك الرموز. جميعها متاحة عبر Realtime API من OpenAI، والتي يمكن الوصول إليها عبر طرق الاتصال WebRTC وWebSocket وSIP.

أفادت OpenAI أنها دمجت رقابة المحتوى في النماذج الجديدة، مع مشغلات يمكنها إيقاف المحادثات التي يتم اكتشافها على أنها تنتهك إرشادات المحتوى الضار. وصفت الشركة هذه الضوابط كحماية ضد البريد العشوائي، والاحتيال، وأشكال أخرى من الإساءة.

أطلقت OpenAI ثلاثة نماذج صوتية في الوقت الفعلي، مما يجلب تفكيراً من فئة GPT-5، وترجمة بـ 70 لغة، ونسخاً مباشراً إلى واجهة برمجة التطبيقات الخاصة بها.