برنامج الذكاء الاصطناعي من إنفيديا يكشف بيانات حساسة – التفاصيل

كشفت تحقيقات حديثة عن معلومات مقلقة حول آليات السلامة داخل برنامج الذكاء الاصطناعي (AI) الخاص بشركة Nvidia، وهو إطار عمل NeMo.

تم استغلال ثغرة أمنية محورية في البرنامج، المصمم لتلبية احتياجات معالجة نماذج اللغة للحلول القائمة على الذكاء الاصطناعي مثل برامج الدردشة الآلية، مما أدى إلى كشف بيانات حساسة وبالتالي إثارة مخاوف أمنية.

كشف خط الخلل في إطار عمل NeMo من Nvidia

تم تصميم إطار عمل NeMo من قبل شركة Nvidia ليكون أداة أساسية للشركات، وذلك لاستيعاب البيانات الخاصة للإجابة على الاستفسارات، على غرار ما يفعله ممثل خدمة العملاء أو مستشار الرعاية الصحية.

ومع ذلك، تمكن الباحثون من شركة "روبست إنتليجنس" في سان فرانسيسكو من التغلب بسهولة على البنية الآمنة ظاهريًا لهذا الإطار، حيث اخترقوا الضوابط المدمجة في غضون ساعات قليلة.

في تجربة مضبوطة، أجرى الباحثون تعديلاً يبدو غير ذي أهمية، حيث استبدلوا الحرف "I" بالحرف "J". ومع ذلك، أدى هذا التعديل البسيط ظاهرياً إلى اختراق خطير، إذ كشف النظام عن معلوماتdentشخصية (PII) من قاعدة البيانات.

تشكل تداعيات هذا الاختراق مخاطر محتملة كبيرة على الشركات والمستخدمين الذين يثقون ببياناتهم الحساسة لأنظمة الذكاء الاصطناعي مثل نظام Nvidia.

وكشف اختبار آخر أنه يمكن التلاعب بالذكاء الاصطناعي ليخرج عن سلوكه المتوقع، ويتطرق إلى مواضيع لم يكن من المفترض أن يناقشها.

فعلى سبيل المثال، بينما كان الحديث موجهاً نحو تقرير وظيفي، تم التلاعب بالنموذج للتحدث عن مواضيع غير ذات صلة مثل الحالة الصحية لأحد المشاهير أو أحداث تاريخية مثل الحرب الفرنسية البروسية، وكل ذلك في defiللقيود المضمنة في النظام.

الإبحار في البحار الهائجة لتسويق الذكاء الاصطناعي

تؤكد هذه النتائج على التحدي الذي تواجهه شركات مثل Nvidia في سعيها لتحقيق الربح من الذكاء الاصطناعي، وهو أحد أكثر الابتكارات الواعدة في وادي السيليكون.

أشار يارون سينغر، أستاذ علوم الحاسوب بجامعة هارفارد والرئيس التنفيذي لشركة روبست إنتليجنس، إلى النتائج باعتبارها درساً قيماً في إدراك المخاطر المحتملة في تقنية الذكاء الاصطناعي. وتنصح شركة سينغر عملاءها الآن بعدم استخدام منتج برمجيات إنفيديا.

وبحسب ما ورد، فقد عالجت شركة Nvidia إحدى المشكلات الجذرية التيdentالباحثون بعد الكشف عن هذه النتائج.

على الرغم من العقبات، شهد سهم الشركة ارتفاعًا كبيرًا بفضل توقعات المبيعاتtronوالطلب المتزايد على رقائقها، والتي تعتبر ضرورية لبناء أنظمة الذكاء الاصطناعي التوليدية القادرة على إنتاج محتوى يشبه المحتوى البشري.

وصف جوناثان كوهين، نائب رئيسdent الأبحاث التطبيقية في شركة إنفيديا، إطار عمل NeMo بأنه نقطة انطلاق لتطوير روبوتات الدردشة التي تعمل بالذكاء الاصطناعي والتي تلتزم بمبادئ السلامة والأمان والإرشادات الخاصة بكل موضوع.

كما أقر بأهمية نتائج أبحاث شركة "روبست إنتليجنس" لتطوير تطبيقات الذكاء الاصطناعي في المستقبل.

يسلط هذاdent الضوء على تحدٍ أوسع نطاقاً يواجه شركات الذكاء الاصطناعي، بما في ذلك الشركات العملاقة مثل جوجل وشركة OpenAI المدعومة من مايكروسوفت، والتي شهدت نصيبها من حوادث السلامة على الرغم من وضعها حواجز أمان لتجنب ظهور سلوكيات غير مناسبة في منتجات الذكاء الاصطناعي الخاصة بها.

كما أشارت بيا لونغورث، رئيسة الشؤون الحكومية في شركة إنفيديا في أوروبا والشرق الأوسط وأفريقيا، خلال مؤتمر صناعي، فإن بناء ثقة الجمهور يمثل أولوية رئيسية لشركات الذكاء الاصطناعي.

إن إمكانات الذكاء الاصطناعي هائلة، لكن المسؤولية تقع على عاتق مزودي التكنولوجيا مثل Nvidia لضمان عدم اعتبار هذه الأنظمة المتقدمة تهديدات بل أدوات مفيدة للمستقبل.