دراسة ستانفورد تبلغ عن أخطاء بنسبة 97% في كاشفات GPT للنصوص المولدة بالذكاء الاصطناعي

أجرى باحثون من جامعة ستانفورد دراسة تسلط الضوء على موثوقية وقيود كاشفات GPT، وهي الأدوات المصممة للتمييز بين النصوص المكتوبة بشرياً والنصوص المولدة بالذكاء الاصطناعي. أشار كاشف معين إلى أن 97.8% من مقالات TOEFL مولدة بالذكاء الاصطناعي، معزياً التصنيف الخاطئ إلى انخفاض "تعقيد النص" في الكتابة غير الإنجليزية كلغة أم.

تميل الكاشفات إلى إدراك تنوع أقل وثراء في المفردات والقواعد، مما أدى إلى الافتراض الخطأ بأن الذكاء الاصطناعي هو من أنتج النص. يمكن لهذا التحيز ضد متحدثي الإنجليزية غير الأصليين أن يؤثر سلباً على مجالات مختلفة، بما في ذلك عمليات اختيار الوظائف والامتحانات الأكاديمية.

تثير آثار هذا التحيز والضعف مخاوف بشأن التأثيرات السلبية المحتملة على متحدثي الإنجليزية غير الأصليين في سياقات مختلفة، مثل توظيف الوظائف والامتحانات المدرسية. تشير النتائج إلى أن هذه الكاشفات تصنف بشكل متكرر الكتابة من متحدثي الإنجليزية غير الأصليين ويمكن خداعها بسهولة من قبل اللغة الأدبية.

تجربة الدراسة حول التصنيف الخاطئ

في تحقيقهم، قام باحثو ستانفورد بتقييم أداء سبعة كاشفات GPT جاهزة، بما في ذلك كاشف OpenAI وGPTZero. حللوا 91 مقالاً كتبها أفراد صينيون يأخذون امتحان TOEFL (اختبار الإنجليزية كلغة أجنبية) و88 مقالاً كتبها طلاب أمريكيون في الصف الثامن. أظهرت الكاشفات تبايناً كبيراً في الدقة، حيث صنفوا مقالات TOEFL المكتوبة بشرياً على أنها مولدة بالذكاء الاصطناعي بنسبة 61% من الوقت. بالمقارنة، تم تصنيف 5.1% فقط من مقالات الطلاب الأمريكيين بشكل خاطئ على أنها مولدة بالذكاء الاصطناعي.

تحيزات ضد متحدثي الإنجليزية غير الأصليين

أشار كاشف معين إلى أن 97.8% من مقالات TOEFL مولدة بالذكاء الاصطناعي، معزياً التصنيف الخاطئ إلى انخفاض "تعقيد النص" في الكتابة غير الإنجليزية كلغة أم. تميل الكاشفات إلى إدراك تنوع أقل وثراء في المفردات والقواعد، مما أدى إلى الافتراض الخطأ بأن الذكاء الاصطناعي هو من أنتج النص. يمكن لهذا التحيز ضد متحدثي الإنجليزية غير الأصليين أن يؤثر سلباً على مجالات مختلفة، بما في ذلك عمليات اختيار الوظائف والامتحانات الأكاديمية.

خداع كاشفات GPT باستخدام اللغة الأدبية

قام الباحثون أيضاً بفحص قدرة كاشفات GPT على تحديد النصوص المولدة بالذكاء الاصطناعي. استخدموا ChatGPT لتوليد ردود على مطالبات مقالات القبول في الكليات الأمريكية ووجدوا أنه، في المتوسط، تمكنت الكاشفات من اكتشاف مقالات الذكاء الاصطناعي بنجاح 70% من الوقت. ومع ذلك، عندما تم مطالبة ChatGPT بتحسين المقالات باستخدام اللغة الأدبية، تم خداع الكاشفات ولم تتمكن من تحديد النصوص المولدة بالذكاء الاصطناعي بشكل صحيح إلا 3.3% من الوقت. تم ملاحظة نتائج مماثلة عندما أنتج ChatGFT ملخصات علمية.

الآثار والأسئلة المطروحة

تثير دراسة ستانفورد مخاوف بشأن فعالية كاشفات GPT، نظراً لحساسيتها للخداع وتميلها إلى تصنيف النصوص المكتوبة بشرياً بشكل خاطئ. هذا يطرح تساؤلات حول موثوقية وفائدة هذه الكاشفات. يؤكد الباحثون على الحاجة إلى مزيد من البحث ويدعون إلى مشاركة جميع أصحاب المصلحة المتأثرين بنماذج الذكاء الاصطناعي التوليدي، مثل ChatGPT، في المناقشات المتعلقة باستخدامها المناسب.

لتعزيز الكاشفات، يقترح الباحثون مقارنة عدة قطع من الكتابة حول نفس الموضوع، تشمل الردود البشرية والذكاء الاصطناعي، وتصنيفها للتحليل. قد يؤدي هذا النهج إلى آلية كشف أكثر قوة وإنصافاً. قد تعزز الكاشفات المصممة لتحديد العبارات والهياكل المستخدمة بشكل مفرط الإبداع والأصالة في الكتابة.

مع استمرار تطوير نماذج الذكاء الاصطناعي التوليدي وبرامج الكشف، تسلط دراسة ستانفورد الضوء على التحيزات والضعف الموجودين في كاشفات GPT. ميلها لتصنيف الكتابة غير الإنجليزية كلغة أم بشكل خاطئ وخداعها من قبل اللغة الأدبية يستدعي الحذر في استخدامها، خاصة في الإعدادات التقييمية أو التعليمية. يؤكد الباحثون على أهمية البحث المستمر والمناقشات الشاملة التي تشمل جميع أصحاب المصلحة لضمان التطبيق المسؤول والعادل لنماذج الذكاء الاصطناعي التوليدي.