يمكن لهذا النموذج التوليدي للذكاء الاصطناعي تحويل صناعة الألعاب

في عالم الذكاء الاصطناعي التوليدي سريع التطور، كان التحدي المتمثل في إنشاء كائنات ثلاثية الأبعاد من الصور ثنائية الأبعاد مستمراً. ومع ذلك، أعلن باحثون من جامعات مختلفة عن تقدم كبير: SyncDreamer. تستخدم هذه الأداة المبتكرة للذكاء الاصطناعي التوليدي نموذج انتشار فريد لتوليد وجهات نظر ثنائية الأبعاد متعددة لكائن ما من صورة واحدة فقط.

كيف يعيد SyncDreamer للذكاء الاصطناعي التوليدي تعريف 3تصميم D⟦/N1⟧

طورت أنظمة الذكاء الاصطناعي التوليدي، ولا سيما نماذج الانتشار مثل Stable Diffusion وDALL-E وMidjourney، بشكل أساسي للتنبؤ بمظهر الصورة بينما يتم طبقة الضوضاء فوقها. تتضمن العملية الانتقال من صورة واضحة إلى ضوضاء كاملة ثم عكس هذه العملية، مما يسمح لهذه النماذج بإنتاج صور معقدة من أنماط الضوضاء العشوائية. علاوة على ذلك، فقد وسعت نماذج الذكاء الاصطناعي التوليدي النصية إلى صور من هذا، حيث تعلمت من مليارات أزواج الصور والوصف النصي لإنشاء صور من التلميحات النصية.

ومع ذلك، عرقل حاجز اتساق العرض متعدد هذه التقدم. وعلى الرغم من براعتهم، تجد نماذج الانتشار صعوبة في أخذ صورة ثنائية الأبعاد وتصوير نفس الكائن من منظور جديد.

اعتمدت المحاولات السابقة لسد هذا الفجوة على توليد نماذج انتشار لكائنات ثلاثية الأبعاد – وهي مهمة تتطلب أحجاماً هائلة من الكائنات ثلاثية الأبعاد المصنفة. واستراتيجية أخرى تضمنت حقول الإشعاع العصبي (NeRF) التي يمكنها توليد أشكال ثلاثية الأبعاد من الصور ثنائية الأبعاد. ومع ذلك، تتطلب هذه التقنية أوصافاً نصية إضافية وتوليد الكائنات – وهي عملية ليست كثيفة حسابياً فحسب، بل تتطلب أيضاً مدخلاً بشرياً كبيراً.

تدخل SyncDreamer. بدلاً من الشروع في إنشاء صورة ثلاثية الأبعاد مباشرة، تأخذ SyncDreamer صورة ثنائية الأبعاد وتولد زوايا ثنائية الأبعاد بديلة لنفس الموضوع. يمكن بعد ذلك استخدام هذه المخرجات بواسطة نماذج مثل NeRF لتشكيل التمثيل ثلاثي الأبعاد.

يتمحور دور SyncDreamer حول تصميمه لنمذجة التوزيع الاحتمالي المشترك لصور متعددة الزوايا. ومن خلال استخدام عدة نماذج للتنبؤ بالضوضاء، يمكن لـ SyncDreamer توليد عدة صور في وقت واحد. يضمن هذا النهج المنسق اتساق جميع الصور المُولَّدة.

التطبيقات والعملية

من التمثيلات الواقعية إلى الرسومات اليدوية، أظهر SyncDreamer مرونته في مهام مثل إعادة بناء المشاهد أو مراحل التصميم الأولية. وقد أكد الباحثون على قدرة النظام على توليد صور متوافقة دلاليًا مع الأصلية، مع الحفاظ على اتساق متعدد الزوايا في كل من اللون والشكل.

تمثل إحدى المزايا البارزة لهذا النموذج التوليدي للذكاء الاصطناعي في تعاونه مع نماذج توليدية أخرى. ومن خلال الاقتران مع نماذج من النص إلى الصورة مثل Stable Diffusion أو DALL-E، يمكن للمصممين إنتاج المفاهيم وتحسينها بسرعة. يوفر هذا العمل المتكامل، الذي يقلل من عبء العمل على فنانين ثلاثي الأبعاد، فوائد كبيرة لتطوير الألعاب وخلق البيئات الافتراضية.

خلف بنية SyncDreamer

يكشف النظر في بنية SyncDreamer عن نموذج الانتشار متعدد الجوانب الذي يزامن توليد كل زاوية. يعتمد العملية على إزالة التشويش من الإدخال باستخدام نموذج UNet. ولضمان الاتساق متعدد الزوايا، تجمع وحدة متخصصة ميزات الصور وترسمها في الفضاء ثلاثي الأبعاد. ثم يلتقط شبكة عصبية تلافيفية ثلاثية الأبعاد (CNN) هذه الميزات المكانية ويُسقطها في الفضاء ثنائي الأبعاد. يلعب هذا التصميم المعقد، الذي سماه الباحثون بـ "UNet الانتباهي للوعي ثلاثي الأبعاد"، دورًا حاسمًا في الحفاظ على دقة النموذج واتساقه.

تم تحسين النظام على مجموعة بيانات Objaverse، التي تضم حوالي 800,000 كائن ومشهد ثلاثي الأبعاد مُعلَّمة. إن التنوع الهائل في أنماط الفن، من الرسومات إلى اللوحات بالحبر، الذي تم اختبار SyncDreamer عليه، يؤكد فقط على الإمكانات الواسعة للذكاء الاصطناعي التوليدي في السنوات القادمة.