تم العثور على نماذج ChatGPT الجديدة من OpenAI "تختلق" معلومات بشكل متكرر

تنتج أحدث نماذج الاستدلال من OpenAI، o3 و o4-mini، إجابات مختلقة بشكل متكرر أكثر من النماذج السابقة للشركة، كما أظهرت الاختبارات الداخلية والخارجية. 

يُعد الارتفاع في ما يُسمى "الهلوسة" انتهاكاً لنمط طويل الأمد كان كل إصدار جديد يميل فيه إلى اختلاق معلومات أقل من النموذج السابق.

تضع الأرقام الخاصة بـ OpenAI المشكلة في حدة واضحة. على PersonQA، وهو معيار للشركة يتحقق من مدى دقة استدعاء النموذج للحقائق حول الأشخاص، اختلق o3 مواد في 33 في المئة من الردود، وهو ضعف المعدلات المسجلة بواسطة o1 و o3-mini، والتي سجلت 16 في المئة و14.8 في المئة على التوالي. كان أداء O4-mini أسوأ، حيث اختلق معلومات في 48 في المئة من الحالات.

يُفصّل تقرير تقني هذه النتائج. يكتب المهندسون أن النماذج الجديدة تتفوق على الإصدارات السابقة في البرمجة والرياضيات، ولكن لأنها "تقدم ادعاءات أكثر بشكل عام"، فإنها تقدم أيضاً "ادعاءات أكثر دقة بالإضافة إلى ادعاءات غير دقيقة / مختلقة". يضيف المستند أن "المزيد من البحث مطلوب" لشرح التراجع في الموثوقية.

تصنف OpenAI أنظمة سلسلة o كنماذج استدلال، وهو خط تبنته الشركة وكثير من الصناعة على مدار العام الماضي. النماذج التقليدية غير المستدلة مثل GPT-4o مع البحث عبر الويب تفوقت على الثنائي الأخير في الصدق: يحقق GPT-4o مع البحث دقة بنسبة 90 في المئة على SimpleQA، وهو معيار داخلي آخر.

نموذج o3 من OpenAI يخترق الخطوات

أفادت Transluce، وهي مختبر غير ربحي للذكاء الاصطناعي، بأن نموذج o3 يخترق الخطوات. في أحد التشغيلات، قال النموذج إنه نفذ الكود على جهاز MacBook Pro لعام 2021 "خارج ChatGPT"، ثم نسخ الأرقام مرة أخرى. النموذج ببساطة غير قادر على القيام بذلك.

"فرضيتنا هي أن نوع التعلم المعزز المستخدم لنماذج سلسلة o قد يفاقم القضايا التي يتم عادةً تخفيفها (ولكن ليس إزالتها تماماً) من خلال خطوط أنابيب ما بعد التدريب القياسية"، قال نيل تشودوري، باحث في Transluce وموظف سابق في OpenAI، في بريد إلكتروني.

قالت سارة شويتمان، المؤسس المشارك لـ Transluce، إن معدل الخطأ الأعلى قد يجعل o3 أقل فائدة مما توحي به مهاراته الخام.

قال كيان كاتانفوروش، الأستاذ المساعد في جامعة ستانفورد، لـ TechCrunch إن فريقه يختبر بالفعل o3 لمهام البرمجة ويراه "خطوة فوق المنافسة". ومع ذلك، أفاد بعيب آخر: غالباً ما يعيد النموذج روابط ويب لا تعمل عند النقر عليها.

يمكن أن تحفز الهلوسة الإبداع، لكنها تجعل الأنظمة صعبة البيع للشركات التي تحتاج إلى الدقة. من غير المرجح أن تتحمل شركة محاماة صياغة عقود أخطاء واقعية متكررة.

البحث في الوقت الفعلي يمكن أن يقلل من الهلوسة في نماذج الذكاء الاصطناعي

حل ممكن هو البحث في الوقت الفعلي. نسخة GPT-4o من OpenAI، التي تستشير الويب، تحقق بالفعل نتائج أفضل على SimpleQA. يشير التقرير إلى أن نفس التكتيك يمكن أن يقلل من الهلوسة في نماذج الاستدلال، على الأقل عندما يكون المستخدمون على استعداد لإرسال مطالبات إلى محرك طرف ثالث.

"معالجة الهلوسة عبر جميع نماذجنا هي مجال بحث مستمر، ونحن نعمل باستمرار على تحسين دقتها وموثوقيتها"، قال المتحدث باسم OpenAI نيكو فيليكس في بريد إلكتروني.

يظل من غير الواضح ما إذا كان البحث في الوقت الفعلي وحده سيحل المشكلة. يحذر التقرير من أنه إذا استمر توسيع نماذج الاستدلال في تفاقم الهلوسة، فإن البحث عن حلول سيصبح أكثر إلحاحاً. دعا الباحثون منذ فترة طويلة الهلوسة لتكون واحدة من أصعب القضايا في الذكاء الاصطناعي، وتؤكد أحدث النتائج مدى البعد الذي لا يزال أمامنا.

بالنسبة لـ OpenAI، السمعة مهمة حيث يُستخدم ChatGPT في أماكن العمل، والفصول الدراسية، واستوديوهات الإبداع. يقول المهندسون إنهم سيستمرون في ضبط التعلم المعزز، واختيار البيانات، واستخدام الأدوات لتقليل هذه الأرقام. حتى ذلك الحين، يجب على المستخدمين موازنة المهارات الحادة مع فرصة أعلى للضلوع.