تواصل OpenAI اختبار نماذجها الخاصة في الرياضيات على الرغم من طلب مستشاريها

في 6 أكتوبر، قام OpenAI بنشر 719 ورقة رياضية من نموذج داخلي غير مُعلن على GitHub.

قبل ذلك بأسبوع واحد، طلبت مجموعة الاستشاريين التابعة له من المختبرات التوقف عن اختبار مسائل الرياضيات المتقدمة على النماذج الخاصة.

ساهمت أكثر من 600 استجابة استقصائية في صياغة توجيهات لجنة IAS بتاريخ 29 سبتمبر

تقع مجموعة الاستشارة المعنية بالرياضيات والذكاء الاصطناعي في معهد الدراسات المتقدمة في برينستون، نيوجيرسي. وفي 29 سبتمبر، نشرت توصيات تستند إلى أكثر من 600 استجابة استبيان.

«نريد أن نوضح منذ البداية: نحن لا ندعم هذه الممارسة، ونطلب منهم التوقف عن اختبار مسائل الرياضيات المتقدمة على النماذج الخاصة»، كتبت المجموعة.

تحذر الوثيقة نفسها من أن النماذج الداخلية الخاصة قد تؤدي إلى خلق نظام طبقي حيث تتقدم المختبرات بسرعة تفوق باقي المجال.

ووفقاً لما ذكرته OpenAI في مستودعها البرمجي، فإن الشركة تختبر نماذجها ضمن عملية تطويرها على مشكلات بحثية مفتوحة. وقد وسعت نطاق هذه الاختبارات بعد أن وصلت معايير الرياضيات الحالية لديها إلى حد التشبع.

قالت OpenAI إنها استشارت المجموعة واعتمدت على توصياتها بشأن النشر. وفي بيان صدر في 6 أكتوبر، ذكرت المجموعة أن دورها الاستشاري لا يُعد «دعماً للعملية التي حصل بها OpenAI على النتائج».

أعربت المجموعة عن ثقتها بأن المجتمع الرياضي الأوسع هو المسؤول عن إصدار الحكم النهائي حول الامتثال.

كود Lean المستخدم في معضلة نافير-ستوكس يثبت ادعاءات أضعف من تلك الواردة في الورقة البحثية المكتوبة

قامت OpenAI بتجميع الأوراق الـ 719 ضمن 372 عائلة رياضية، حيث بُنيت كل منها حول نتيجة رئيسية وإثباتاتها ذات الصلة. وقد زوّد النموذج الخاص بها بحوالي 4000 مشكلة، واستغرقت كل نتيجة حوالي ثلاث ساعات من حوسبة التفكير باستخدام ChatGPT Pro في المتوسط.

طلبت المجموعة من مختبرات الذكاء الاصطناعي نشر اسم النموذج، والمطالبات (prompts)، وسلسلة الأفكار الموجزة، والوقت المستغرق، وتكلفة الحوسبة لكل نتيجة.

نشرت OpenAI 10 ملخصات استدلال، وتحمل حوالي 42% من النتائج الرئيسية صيغاً رسمية في Lean.

Lean هي لغة برمجة يمكن استخدامها للتحقق من صحة الإثبات بواسطة الكمبيوتر. إذا نجح تجميع الكود (compiles)، فلا يعني ذلك أن الكود والحجة المكتوبة متطابقان؛ بل يعني فقط أن البيان الرسمي صحيح.

قام ألكسندر باستونييس وفابيان سيرشيلي وأندرس سي. هانسن بفحص هذه الفجوة في ورقة نُشرت في 6 أكتوبر. ويخلصون إلى أن ورقة نافييه-ستوكس المكتوبة من قبل OpenAI تقدم ادعاءات أقوى مما تثبته كود Lean الخاص بها، وأن أحد التقديرات يغير ترتيب مشتقات الإدخال.

اكتشف المؤلفون تشويهاً مشابهاً في إثبات OpenAI لمعادلات أويلر. وكتبوا أن «الإثبات المكتوب من قبل OpenAI والإثباتات الأخرى المؤتمتة في Lean لا ينبغي الوثوق بها ظاهرياً دون خضوعها لعملية المراجعة الأقران والتدقيق نفسها التي تخضع لها الإثباتات الأخرى».

أعلنت OpenAI عن نتيجة نافييه-ستوكس في 8 سبتمبر. ووفقاً لـ كريبتوبوليتان، فإن عالم الرياضيات تريسنت باكسمستر من جامعة نيويورك قد عارض وصفها للحد الأدنى من المدخلات البشرية المشاركة في العمل.

التزمت الشركة بتقديم أموال نقدية لحضور ورش العمل، والمؤتمرات، والبرامج الخاصة المتعلقة بالنتائج الكبرى في مجال الذكاء الاصطناعي.

في 6 أكتوبر، كتب تيرينس تاو أن مهندسي أوامر الذكاء الاصطناعي غالباً ما يحلون المشكلات ثم يفقدون الاهتمام بالمجال. وكتب أنه لا يستطيع الكثيرون الإجابة على الأسئلة أو تقديم محاضرات حول النتيجة. ولم يذكر منشوره شركة OpenAI.

كانت الشركة قد قالت إن مستشاريها ليس لديهم أي دور في وتيرة أبحاثها، كما أفادت كريبتوبوليتان في سبتمبر.