ظهرت اكتشافات غير مستقرة حول آليات السلامة داخل برنامج الذكاء الاصطناعي ( AI ) من Nvidia ، إطار NeMo ، بعد تحقيق حديث.
تم استغلال اختراق محوري في البرنامج ، تم تصميمه لتلبية معالجة نموذج اللغة للحلول القائمة على الذكاء الاصطناعي مثل روبوتات المحادثة ، مما أدى إلى كشف البيانات الحساسة وبالتالي إثارة مخاوف أمنية.
كشف خط الصدع في إطار عمل Nvidia's NeMo
نظرًا لكونه أداة مفيدة للشركات ، تم تصميم NeMo Framework بواسطة Nvidia لاستيعاب بيانات الملكية للإجابة على الاستفسارات ، على غرار ما يفعله ممثل خدمة العملاء أو مستشار الرعاية الصحية.
ومع ذلك ، فقد تم التغلب بسهولة على الهيكل الآمن ظاهريًا لهذا الإطار من قبل باحثين من شركة Robust Intelligence في سان فرانسيسكو ، حيث اخترقوا حواجز الحماية المدمجة في غضون ساعات فقط.
في تجربة مضبوطة ، أجرى الباحثون تعديلاً غير مهم على ما يبدو ، واستبدلوا الحرف "I" بالحرف "J". ومع ذلك ، أدى هذا التعديل الذي يبدو طفيفًا إلى حدوث خرق كبير حيث أصدر النظام "شخصيًا I dent ifable Information" (PII) من قاعدة بيانات.
تمثل الآثار المترتبة على هذا الانتهاك مخاطر محتملة كبيرة للشركات والمستخدمين الذين يعهدون ببياناتهم الحساسة إلى أنظمة الذكاء الاصطناعي مثل Nvidia.
كشف اختبار آخر أنه يمكن التلاعب بالذكاء الاصطناعي للابتعاد عن سلوكه المتوقع ، والتطرق إلى الموضوعات التي لم يكن من المفترض مناقشتها.
على سبيل المثال ، بينما كانت المحادثة موجهة نحو تقرير وظيفي ، تم التلاعب بالنموذج للحديث عن مواضيع غير ذات صلة مثل الحالة الصحية لأحد المشاهير أو الأحداث التاريخية مثل الحرب الفرنسية البروسية ، كل ذلك في defi للقيود الداخلية للنظام.
تؤكد هذه النتائج على التحدي الذي تواجهه شركات مثل Nvidia في سعيها لتحقيق الدخل من الذكاء الاصطناعي ، وهو أحد أكثر الابتكارات الواعدة في وادي السيليكون.
أشار الرئيس التنفيذي لشركة Robust Intelligence ، أستاذ علوم الكمبيوتر بجامعة هارفارد ، يارون سينجر ، إلى النتائج باعتبارها درسًا واقعيًا في التعرف على المخاطر المحتملة في تكنولوجيا الذكاء الاصطناعي. تنصح شركة Singer عملاءها الآن بعدم استخدام منتج برامج Nvidia.
بعد الكشف عن هذه النتائج ، ورد أن Nvidia عالجت إحدى القضايا الجذرية التي dent الباحثون.
على الرغم من الفواق ، شهد سهم الشركة ارتفاعًا كبيرًا على خلفية توقعات مبيعات s tron g والطلب المتزايد على رقائقها ، والتي تعتبر ضرورية لبناء أنظمة ذكاء اصطناعي توليد قادرة على إنتاج محتوى شبيه بالبشر.
وصف جوناثان كوهين ، نائب dent الأبحاث التطبيقية في Nvidia ، إطار عمل NeMo بأنه نقطة انطلاق لتطوير روبوتات الدردشة الذكية التي تلتزم بالسلامة والأمن والمبادئ التوجيهية الخاصة بالموضوع.
كما أقر بأهمية النتائج التي توصل إليها بحث Robust Intelligence للتطوير المستقبلي لتطبيقات الذكاء الاصطناعي.
تسلط هذه dent الضوء على التحدي الأوسع الذي تواجهه شركات الذكاء الاصطناعي ، بما في ذلك الشركات العملاقة مثل Google و OpenAI المدعومة من Microsoft ، والتي كانت لها نصيبها من حوادث السلامة على الرغم من وضع حواجز أمان لتجنب منتجات الذكاء الاصطناعي الخاصة بهم من إظهار سلوكيات غير لائقة.
كما أشارت بيا لونجورث ، رئيسة الشؤون الحكومية في نفيديا في أوروبا والشرق الأوسط وإفريقيا ، خلال مؤتمر صناعي ، فإن بناء الثقة العامة يمثل أولوية رئيسية لشركات الذكاء الاصطناعي.
إمكانات الذكاء الاصطناعي هائلة ، لكن العبء يقع على عاتق مزودي التكنولوجيا مثل Nvidia للتأكد من أن هذه الأنظمة المتقدمة لا يُنظر إليها على أنها تهديدات ولكن كأدوات مفيدة للمستقبل.
