الباحثون يكشفون عن مشكلات موثوقية في نماذج اللغات الاصطناعية

أثارت دراسة حديثة أجراها باحثون في جامعة واترلو مخاوف كبيرة بشأن دقة وموثوقية نماذج اللغات الكبيرة، لا سيما نسخة مبكرة من شات جي بي تي.

تغوص الدراسة، بعنوان "فحص الموثوقية: تحليل استجابة GPT-3 للمواضيع الحساسة وصياغة المطالبات"، في فهم النموذج للبيانات عبر ست فئات، بما في ذلك الحقائق والمؤامرات والجدالات والمفاهيم الخاطئة والصور النمطية والخيال. 

تشير النتائج إلى أن هذه النماذج ترتكب أخطاءً بشكل متكرر، وتتعارض مع نفسها، وتنتشر فيها معلومات مضللة ضارة.

الدراسة تسلط الضوء على مشكلات مع نماذج اللغات الكبيرة

في الدراسة، اختبر الباحثون استجابة ChatGPT لأكثر من 1200 بيان باستخدام قوالب استفسار متنوعة لتقييم دقتها في التمييز بين الحقائق والمعلومات المضللة. كانت النتائج مقلقة، حيث أظهر النموذج مجموعة من عدم الاتساق. اعتماداً على فئة البيان، وافق ChatGPT على البيانات الخاطئة بين 4.8٪ و26٪ من الوقت.

كان أحد الاكتشافات المقلقة بشكل خاص هو قابلية النموذج للتغييرات الدقيقة في الصياغة. على سبيل المثال، بإضافة عبارة مثل "أعتقد" قبل البيان، كان ChatGPT أكثر عرضة للموافقة، حتى لو كان البيان خاطئاً. ترك هذا عدم الاتساق في الاستجابات المستخدمين مرتبكين وغير قادرين على الاعتماد على دقة النموذج.

شدد دان براون، الأستاذ في مدرسة ديفيد آر. تشيريتون لعلوم الحاسوب، على أهمية هذه النتائج، لا سيما في سياق الاستخدام الأوسع لنماذج اللغات الكبيرة. وأشار إلى أن العديد من النماذج الأخرى يتم تدريبها على بيانات تم إنشاؤها بواسطة نماذج OpenAI، مما قد يؤدي إلى استمرار المشكلات المماثلة.

يثير عدم قدرة نماذج اللغات الكبيرة على التمييز بشكل متسق بين الحقيقة والخيال أسئلة جدية حول موثوقيتها. أشارت عائشة خاتون، المؤلفة الرئيسية للدراسة و طالبة ماجستير في علوم الحاسوب، إلى أن هذه النماذج أصبحت أكثر شيوعاً في تطبيقات متنوعة. حتى عندما لا تكون المعلومات المضللة واضحة على الفور، فإن إمكانية قيام هذه النماذج بنشر معلومات خاطئة عن غير قصد هو مصدر قلق.

أهمية صياغة المطالبة

أحد الجوانب البارزة التي سلطت الدراسة الضوء عليها هو دور صياغة المطالبة في التأثير على استجابات ChatGPT. يمكن للتغييرات الدقيقة في صياغة سؤال أو بيان أن تؤثر بشكل كبير على مخرجات النموذج. 

هذا يشير إلى أن المستخدمين يجب أن يمارسوا الحذر عند التفاعل مع هذه الأنظمة وأن يكونوا على دراية بالصياغة التي يستخدمونها للحصول على معلومات دقيقة.

مع استمرار نماذج اللغات الكبيرة في لعب دور محوري في مجالات متنوعة، تظل القدرة على التمييز بين الحقيقة والخيال تحدياً أساسياً. علّق دان براون على أهمية معالجة هذه المشكلة، مشدداً على أن الثقة في هذه الأنظمة ستكون على الأرجح مصدر قلق مستمر.