- تحذر هيئة المعايير والتقنية الوطنية (NIST) من حقن المطالبات، وهي تكتيك خبيث يستهدف أنظمة الذكاء الاصطناعي.
- تخدع حقن المطالبة المباشرة نماذج الذكاء الاصطناعي لتقوم بإجراءات غير مقصودة، مثل DAN.
- للدفاع عن النفس، تقترح هيئة المعايير والتقنية الوطنية تدريباً أكثر ذكاءً وحلول ذكاء اصطناعي قابلة للتفسير.
في المشهد سريع التطور للذكاء الاصطناعي (AI) وتعلم الآلة (ML)، تظل المعهد الوطني للمعايير والتكنولوجيا (NIST) يقظاً، حيث يراقب دورة حياة الذكاء الاصطناعي عن كثب بحثاً عن نقاط ضعف محتملة في الأمن السيبراني. مع انتشار الذكاء الاصطناعي، يأتي اكتشاف واستغلال مثل هذه الثغرات، مما دفع NIST إلى توضيح التكتيكات والاستراتيجيات للتخفيف من المخاطر بفعالية.
فهم تكتيكات تعلم الآلة العدائي (AML)
تهدف تكتيكات تعلم الآلة العدائي (AML) إلى استخراج رؤى حول سلوك أنظمة تعلم الآلة، مما يمكّن المهاجمين من التلاعب بها لأغراض خبيثة. تُعد حقن الأوامر ثغرة كبيرة ضمن هذه التكتيكات، وتستهدف بشكل خاص نماذج الذكاء الاصطناعي التوليدي.
تحدد NIST نوعين رئيسيين من حقن الأوامر: المباشر وغير المباشر. يحدث حقن الأوامر المباشر عندما يقوم المستخدم بإدخال نص يحفز إجراءات غير مقصودة أو غير مصرح بها في نظام الذكاء الاصطناعي. من ناحية أخرى، ينطوي حقن الأوامر غير المباشر على تسميم أو تدهور البيانات التي يعتمد عليها نموذج الذكاء الاصطناعي لتوليد الاستجابات.
إحدى أسوأ طرق حقن الأوامر المباشرة هي DAN (Do Anything Now)، والتي تُستخدم بشكل أساسي ضد ChatGPT. تستخدم DAN سيناريوهات تمثيل الأدوار لتجاوز مرشحات الرقابة، مما يسمح للمستخدمين بطلب استجابات قد يتم تصفيتها لولا ذلك. وعلى الرغم من جهود المطورين لسد الثغرات، فإن إصدارات متعددة من DAN لا تزال قائمة، مما يشكل تحديات مستمرة لأمن الذكاء الاصطناعي.
الدفاع ضد هجمات حقن الأوامر
بينما قد لا يكون القضاء التام على هجمات حقن الأوامر ممكناً، تقترح NIST عدة استراتيجيات دفاعية للتخفيف من المخاطر. يُنصح منشئو النماذج بعناية في انتقاء مجموعات بيانات التدريب وتدريب النماذج على التعرف على رفض الأوامر العدائية. بالإضافة إلى ذلك، يمكن أن تساعد الحلول القائمة على الذكاء الاصطناعي القابل للتفسير في اكتشاف ومنع المدخلات غير الطبيعية.
يُعد حقن الأوامر غير المباشر تحدياً كبيراً نظراً لاعتماده على مصادر بيانات مُعدّلة. توصي NIST بإشراك البشر في ضبط النماذج من خلال التعلم التعزيزي من التغذية الراجعة البشرية (RLHF). يمكن أن يؤدي تصفية التعليمات من المدخلات المسترجعة واستخدام مشرفي الذكاء الاصطناعي إلى تعزيز الدفاعات ضد هجمات حقن الأوامر غير المباشر.
تقدم الحلول القائمة على القابلية للتفسير رؤى حول عملية صنع القرار في نماذج AI، مما يساعد في اكتشاف المدخلات الشاذة. من خلال تحليل مسارات التنبؤ، يمكن للمنظمات تحديد ومنع الهجمات المحتملة قبل أن تتجلى.
دور IBM Security في الأمن السيبراني للذكاء الاصطناعي
مع تطور المشهد السيبراني، تظل IBM Security في الطليعة، حيث تقدم حلولاً مدعومة بالذكاء الاصطناعي لتعزيز الدفاعات ضد التهديدات الناشئة. باستخدام تقنيات متقدمة وخبرة بشرية، تمكّن IBM Security المنظمات من حماية أنظمة الذكاء الاصطناعي الخاصة بها بفعالية.
تتقدم تقنيات الذكاء الاصطناعي، كما تتطور التكتيكات التي يستخدمها الفاعلون الضارون الساعون لاستغلال نقاط الضعف فيها. من خلال الالتزام بتوصيات NIST والاستفادة من الحلول المبتكرة من قادة الصناعة مثل IBM Security، يمكن للمنظمات التخفيف من المخاطر المرتبطة بتهديدات الأمن السيبراني للذكاء الاصطناعي وضمان سلامة وأمن أنظمتها.
أذكى العقول في عالم العملات الرقمية يقرأون بالفعل نشرتنا الإخبارية. هل تريد الانضمام؟ انضم إليهم.
إخلاء مسؤولية: المعلومات المقدمة ليست نصيحة تداول. لا تتحمل Cryptopolitan.com أي مسؤولية عن أي استثمارات تتم بناءً على المعلومات المتاحة في هذه الصفحة. نوصي بشدة بإجراء بحث مستقل و/أو استشارة مختص مؤهل قبل اتخاذ أي قرار استثماري.
بريان كوم
يتمتع برايان كوم بخبرة تزيد عن سبع سنوات في تغطية سلاسل الكتل والعملات المشفرة، حيث كان نشطاً في هذا القطاع منذ عام 2017. وقد أسهم في نشرات رائدة، بما في ذلك BlockToday.com. علاوة على ذلك، طور دورة «إيثريوم للمبتدئين» (Ethereum 101) لموقع BitDegree.org قبل انضمامه إلى Cryptopolitan كاتباً بدوام كامل. يغطي برايان أدلةً دائمة الصلاحية (EGs)، وتحليلات عميقة، ومقابلات، وتحليلات الأسعار. وتركيزه على التمويل اللامركزي (DeFi)، وابتكارات سلاسل الكتل، والمشاريع الناشئة في عالم العملات المشفرة يسعد القراء.
