نفيديا تقدم نماذج العالم (WFMs) لكوسموس لتطوير الروبوتات والذكاء الاصطناعي المادي

كشفت نفيديا عن منصة كوسموس، المدعومة بنماذج العالم التي سيستخدمها مطورو الذكاء الاصطناعي المادي لتدريب وكلاء الذكاء الاصطناعي لتحليل الفيديو، والمركبات ذاتية القيادة (AVs)، والروبوتات. تدعي الشركة أن نماذج كوسموس للعالم تستخدم الاستدلال المنظم على الصور ومقاطع الفيديو لـ “فهم العالم المادي مثل البشر.”   

الشركة التقنية قالت كانت تساعد المطورين في بناء نماذج أساسية. وأوضحت أن منصة كوسميس سمحت للمطورين بتخصيص النماذج المدربة مسبقًا الجاهزة للاستخدام لنماذج الذكاء الاصطناعي المادي المتخصصة. تفخر نفيديا بأن كوسموس يستخدم “الفهم المكاني والزمني” للعالم المادي لجمع البيانات التي تدرب اتخاذ القرار في الروبوتات والسيارات ذاتية القيادة.

أضافت الشركة أيضًا أن إطار عمل Curator في كوسموس مكن المطورين من تصفية وتعليق وتقليل تكرار كميات هائلة من بيانات المستشعرات. يستخدم المطورون هذه البيانات لإنشاء مجموعات بيانات مخصصة تلبي احتياجات الذكاء الاصطناعي المادي المحددة. يمكن أيضًا لنماذج كوسموس الأساسية للعالم توليد بيانات لخطوط الأنابيب اللاحقة في تطوير أنظمة الرؤية الصناعية.

تأتي كوسموس مع نماذج أساسية للتنبؤ والنقل والاستدلال 

وفقًا لفريق نفيديا، تمتلك منصة كوسموس نموذج التنبؤ (Predict)، مما يسمح للمطورين بتوليد مقاطع فيديو مستمرة تصل مدتها إلى 30 ثانية. يتم إنشاء مقاطع الفيديو من مدخلات متعددة الوسائط مع الالتزام الصارم بالتعليمات.

النقل (Transfer) هو نموذج متعدد التحكم يسمح للمطورين بمحاكاة بيئات وظروف إضاءة مختلفة. قالت الشركة التقنية أيضًا إن النقل يمكنه تسريع المدخلات ثلاثية الأبعاد من أطر عمل محاكاة الذكاء الاصطناعي المادي CARLA وNvidia Isaac Sim لتمكين “تعزيز البيانات القابل للتحكم.”   

أعلنت نفيديا أن Cosmos Reason يستخدم نموذج رؤية ولغة (VLM) قابل للتخصيص بالكامل، يفهم العالم المادي الحقيقي مثل البشر. يعمل Reason على تشغيل وكلاء تحليل الفيديو الذين يفهمون العمليات في المساحات الصناعية والمدنية. ويقوم بترتيب بيانات التدريب المستخدمة لاتخاذ القرارات.

كشفت الشركة التقنية أن المطورين يمكنهم الاستفادة من النماذج الأساسية لتوليد بيانات لتدريب نماذج الذكاء الاصطناعي في التطبيقات الصناعية والروبوتات، مثل روبوتات المصانع، والمستودعات الآلية، والمركبات ذاتية القيادة (AVs) على الطرق السريعة أو التضاريس الوعرة.

كما قالت نفيديا إن هذه النماذج الأساسية تم تدريبها باستخدام مجموعات بيانات غير موسومة لتوليد بيانات جديدة بناءً على مدخلات المستخدم. وأضافت أن المطورين يمكنهم استخدام هذا التعميم لضبط النماذج المدربة مسبقاً باستخدام مجموعات بيانات أصغر لبناء نماذج مخصصة. يمكن للمطورين أيضاً تدريب آلات ذاتية مختلفة للإحساس والتفاعل مع بيئات متنوعة.

نفيديا تدعم 'الأشباح الرقمية'

الشركة التقنية . إصدار مكتبات Omniverse في 11 أغسطس. أضافت نفيديا أن المكتبات تعمل بتقنية خوادم RTX PRO وDGX Cloud، مما يسمح للمطورين ببناء أشباح رقمية دقيقة فيزيائياً. يمكن توليد بيانات اصطناعية من خلال التقاط العالم الحقيقي وإعادة بنائه في المحاكاة لبناء وكلاء الذكاء الاصطناعي وتدريب نماذج الذكاء الاصطناعي المادي. 

قال ريف ليباريديان، نائب رئيس Omniverse وتكنولوجيا المحاكاة في نفيديا، إن شركته ملتزمة بتمكين المطورين من بناء روبوتات ومركبات ذاتية القيادة (AVs) المستقبلية. وشرح أن الذكاء الاصطناعي ورسوميات الحاسوب يتقاربان لتحويل المبادئ الأساسية للروبوتات. يؤمن ليباريديان بأن هذه التقنيات ستُحدث تحولاً في صناعات تبلغ قيمتها تريليونات الدولارات. 

إنفيديا كشفت أن مكتبات Omniverse ومجموعات تطوير البرمجيات (SDKs) أصبحت متاحة الآن للمطورين لبناء ونشر تطبيقات محاكاة الروبوتات والذكاء الاصطناعي الصناعي. تتيح مجموعات تطوير البرمجيات التبادل المتبادل للبيانات بين OpenUSD (وصف المشهد الموحد) وMJCF (MuJoCo) للسماح بمحاكاة الروبوتات عبر المنصات. كما تتيح تقنية 'التسليط ثلاثي الأبعاد للغاوسيات المعتمدة على تتبع الأشعة RTX' للمطورين التقاط وإعادة بناء ومحاكاة البيئات المادية في العالم الحقيقي ثلاثي الأبعاد باستخدام بيانات المستشعرات. 

زعمت نفيديا أن Figure AI وSkild AI وBoston Dynamics وRAI Institute وHexagon وLightwheel اعتمدت على Omniverse ومجموعة Isaac (المحاكاة والمختبر) لتسريع مشاريعها في مجال الروبوتات المدعومة بالذكاء الاصطناعي. كما استخدمت Amazon Devices & Services هذه الأنظمة من نفيديا لتشغيل أحدث حلول التصنيع الخاصة بها.