تعزيز "سلسلة التفكير" يساعد الذكاء الاصطناعي في حل ألغاز المفردات

هل يمتلك الذكاء الاصطناعي مجموعة المهارات نفسها مثل البشر، وهل يمكنه العثور على إشارات دقيقة في كلمات المفردات؟ لم يبدُ باحثو مدرسة Tandon للهندسة في جامعة نيويورك (NYU) متفاجئين برؤية النشاط رقم واحد الذي يقوم به الناس (المشاركة في لغز Connections اليومي) من صحيفة نيويورك تايمز، كما ذُكر في الورقة البحثية.

تقييم نماذج الذكاء الاصطناعي واللغة

كشف التحقيق عن سؤال مثير للجدل لمؤتمر IEEE 2024 القادم في ميلانو حول دراسات الألعاب ومشاركة المعرفة المتاحة والشائعة: هل من الممكن أن تحل تقنيات معالجة اللغات الطبيعية (NLP) الحديثة الألغاز القائمة على اللغة؟ 

مع Julian Togelius، الأستاذ المساعد لعلوم الكمبيوتر وهندسة البرمجيات ومدير مختبر ابتكار الألعاب في NYU Tandon، كمؤلف مشارك، ركز الفريق على طريقتين للذكاء الاصطناعي – التعلم الآلي والتعلم التمثيلي عالي المستوى. استغل الأول GPT-3.5 و GPT-4 الأخير، وهي نماذج لغوية متميزة ذات نطاق مفتوح ولغات تشبه البشر شعوراً من OpenAI، وهو آخر.

يعتمد الآلية التالية على نماذج تضمين الجمل، خاصة BERT و RoBERTa و MPNet و MiniLM. تمثل هذه النماذج البيانات الدلالية كتضمين متجهي لكنها تفتقر إلى مهارات الفهم والتوليد اللغوي الكامل لنماذج اللغات الكبيرة (LLMs).

ومع ذلك، استُنتج أنه على الرغم من أن جميع آلات الذكاء الاصطناعي يمكنها أداء بعض المهام المتعلقة بـ Connections، إلا أن التحدي ظل شبه مستعصٍ. يميل إلى أن يكون أفضل من الآخرين في الفئة السابقة، بما في ذلك إنجازات ملحوظة مثل طرق التضمين و GPT-3.

أحد النتائج الرئيسية هنا هو أن النماذج تظهر ارتباطاً وثيقاً جداً بالقدرة البشرية على تصنيف صعوبة الألغاز بسرعة من "بسيط" إلى "صعب". تُستخدم نماذج اللغات الكبيرة (LLMs) بشكل متكرر، والتدقيق في السياقات التي تفشل فيها فيما يتعلق بلغز Connections يمكن أن يكشف عن قيد عام في المعالجة الدلالية للغة الطبيعية، كما أضاف Graham Todd، طالب الدكتوراه في مختبر ابتكار الألعاب، المؤلف الرئيسي للدراسة.

دفع الحدود مع GPT-4

لاحظ الباحثون أن طلب GPT-4 حل الألغاز من خلال نهج تدريجي عزز بشكل كبير القدرة على حل الألغاز، خاصة مع دقة تزيد قليلاً عن 39٪ من الألغاز.

دليل آخر على ما يمكن أن تفعله "تلميحات التفكير المتسلسل"، كما أظهرت الأبحاث السابقة، وقد تم تأكيد ذلك في دراستنا، هو أنها تؤدي إلى تفكير منظم في المفردات، كما ذكره تيموثي ميرينو، دكتوراه، طالب جامعي في مختبر ابتكار الألعاب وأحد مؤلفي هذا الملخص. تم حل سؤال ما إذا كانت نماذج اللغة تقوم بالعمل وتصل إلى استنتاجات أفضل من خلال جعلها تفكر في العمل الذي تقوم به. استخدم الباحثون أرشيفًا عبر الإنترنت لألغاز الكلمات المتقاطعة يتكون من 250 لغزًا تمثل الألغاز اليومية من 12 يونيو 2023 إلى 16 فبراير 2024.