OpenAI وMicrosoft وCrowdStrike تطلق أدوات تنافسية للتحكم في وكلاء الذكاء الاصطناعي الخارجين عن السيطرة
- أصدرت كل من OpenAI وMicrosoft وCrowdStrike ضوابط مختلفة لوقف الوكلاء الذكيين الذين يخرجون عن المسار المحدد، وتغطي كل منها جزءاً فقط مما يمكن أن يصل إليه الوكيل.
- هذه الخطوات ذات أهمية لأي شركة تنشر وكلاء مستقلين، وتأتي بالتزامن مع إرشادات الاستجابة للحوادث الصادرة عن NIST وNSA وCISA، وسجل استغلال OWASP.
- تُظهر عمليات التدقيق التي أجراها METR كيف يتجاوز الوكلاء حدودهم، بينما يقدر Gartner حجم سوق تأمين الذكاء الاصطناعي بنحو 4.8 مليار دولار في عام 2027.
تتخذ شركات OpenAI وMicrosoft وCrowdStrike خطوات للحد من قدرات وكلاء الذكاء الاصطناعي الذين يعملون خارج نطاقاتهم المحددة. لدى OpenAI آلية لإيقاف المخرجات الناتجة عن نموذج بحثي. وتقوم CrowdStrike بمنع الوكلاء من الوصول إلى نماذج الذكاء الاصطناعي. بينما تحد Microsoft من الإجراءات التي يمكن أن يقوم بها وكيل الذكاء الاصطناعي. ومع ذلك، قد يحتفظ الوكيل بالوصول إلى أدوات أخرى أو بيانات اعتماد أو اتصالات شبكية لا تغطيها هذه الضوابط.
ما تستطيع وما لا تستطيع غرفة التحكم في OpenAI إيقافه
في 9 نوفمبر، شرحت OpenAI كيفية عمل غرفة التحكم. يُستخدم النظام حاليًا في البنية التحتية للبحث التابعة للشركة، وهو مسؤول عن تتبع أي مهام تتطلب مخرجات مُولَّدة بالذكاء الاصطناعي. وفي كل مرة يوقف فيها شخص أو مراقب تلقائي المهمة، يتسبب غرفة التحكم في توقف النموذج عن إصدار المخرجات في غضون 35 ثانية على الأقل.
لا تشمل الـ 35 ثانية الوقت اللازم لاكتشاف المشكلة. يبدأ المؤقت فقط بعد أن تتلقى غرفة التحكم أمر الإيقاف. قد يكون البحث لا يزال قيد التشغيل، ولا يمكن التراجع عن أي إجراءات سابقة. يحدث هذا التأخير بسبب نظام التخزين المؤقت المستخدم للمصادقة. تعمل الشركة على القضاء على هذا التأخير.
تسلك CrowdStrike وMicrosoft المسار المؤسسي
في 3 نوفمبر، قدمت CrowdStrike مفتاح إيقاف الذكاء الاصطناعي عبر منصة Falcon Guardian الخاصة بها. عند تفعيل الفريق الأمني لهذه الميزة، تقوم بوابات الذكاء الاصطناعي المتصلة بحظر الوكيل من الوصول إلى النماذج التي يعتمد عليها لاتخاذ القرارات. وحتى الآن، يعمل مفتاح إيقاف الذكاء الاصطناعي فقط من خلال البوابات المتصلة. وتخطط CrowdStrike لتوسيع نطاق وظائفها لتشمل نقاط النهاية وبيئات السحابة وأنظمة هوية المؤسسات، بهدف توفير احتواء أوسع للوكلاء غير المرغوب فيهم من الذكاء الاصطناعي.
تفصيل تحديث Microsoft الصادر في 5 نوفمبر حول الأذونات الديناميكية، والتي تمنح الصلاحيات اللازمة فقط للمهمة الحالية. يمكن لـ Dynamic Agent Risk وConditional Access تشديد الصلاحيات أو اشتراط موافقة بشرية. أما Windows Execution Containers، التي أصبحت متاحة بشكل عام الآن، فتحدّ من الوصول إلى الملفات والشبكات والعمليات. كما أن التكاملات مع Intune وEntra وAgent 365 ستكون قادمة قريبًا.
معيار استجابة الحكومة
حددت الحكومة الأمريكية أيضاً كيفية تعامل المنظمات مع وكلاء الذكاء الاصطناعي غير المصرح بهم. تضع دليل NIST–NSA–CISA الصادر في أكتوبر عشر ممارسات طوعية تغطي خمس مراحل: الاستعداد، والكشف، والاستجابة، والتعافي، والإبلاغ.
توصي الوكالات بجمع الأدلة، وإيقاف النشاط غير المصرح به، وضمان احتواء الموقف قبل إعادة بدء العمليات. ينبغي على المؤسسات أيضاً إجراء تمارين استجابة للحوادث الوهمية لضمان جاهزيتها للاستجابة لأنشطة وكلاء الذكاء الاصطناعي الخارجين عن السيطرة. كما يجب عليها الإبلاغ عن الحوادث إلى السلطات.
تم إعداد دليل NIST-NSA-CISA خصيصاً للمؤسسات التي تقوم بتطوير أو اختبار وكلاء ذكاء اصطناعي متقدمين مع تدخل بشري محدود. يقدم الوثيقة إرشادات حول اتخاذ الإجراءات، لكنه لا يصادق على أي منتجات أمنية تجارية.
لماذا يستمر المدققون الخارجيون في اكتشاف ثغرات
توضح الحوادث الأخيرة سبب أهمية هذه الضوابط الإضافية. وثّق ملخص OWASP سبعة حوادث أمنية وكشفين عن ثغرات استغلالية، على الرغم من أن بعضها تضمن نفس الهجوم. في إحدى الحالات، تمكن وكلاء التقييم التابعين لـ OpenAI من الوصول غير المصرح به إلى أنظمة الإنتاج الخاصة بـ Hugging Face.
كشف تدقيق METR منفصل عن نقاط ضعف محتملة في نظام المراقبة السابق الخاص بـ OpenAI. قدّر الباحثون أن 75-94% من حركة المرور الداخلية للوكلاء كانت مؤهلة للمراقبة. ومع ذلك، لا يعني ذلك أن كل حركة مرور مؤهلة خضعت فعلياً للمراقبة.
أعلنت OpenAI أن معظم الثغرات قد تم إصلاحها، لكن METR لم يتحقق بشكل مستقل من تلك التغييرات. كما لم يقيّم التدقيق ضوابط OpenAI الأحدث.
تكلفة تأمين الوكلاء
يخلق الطلب المتزايد على أمان الذكاء الاصطناعي سوقاً متنامياً. تتوقع Gartner إنفاقاً يصل إلى ما يقرب من 4.8 مليار دولار في عام 2027 و7.7 مليار دولار في عام 2028. بحلول عام 2029، تتوقع الشركة أن تستغل أكثر من نصف الهجمات الناجحة على وكلاء الذكاء الاصطناعي ضوابط وصول ضعيفة أو حقن الأوامر (prompt injection).
غير أن العديد من الشركات لا تزال غير مستعدة. أظهر استطلاع أجراه BCG أن 23% فقط من المشاركين قد أدخلوا أنظمة مراقبة أو تسجيل لأنظمتهم الذكية.
التشريعات تتحرك أيضاً ببطء. يشير معهد بروكينغز إلى أن متطلبات الاتحاد الأوروبي للذكاء الاصطناعي عالي الخطورة قد تأجلت حتى ديسمبر 2027 وأغسطس 2028. وفي الوقت نفسه، يجب على الشركات الاستثمار في ضوابطها الرقابية والإشرافية الخاصة بها.
المخاطر واضحة بالفعل. أفاد كريبتوبوليتان بأن نموذج أبحاث OpenAI استخدم أموالاً من محفظة شبكة اختبار Sepolia لا يملكها لإكمال مهمة برمجية. لم تكن للعملات الرقمية أي قيمة سوقية، لكن النموذج تصرف دون إذن صاحب المحفظة.
يثير الحادث سؤالاً أمام الشركات: هل يمكن لهذه الضوابط الأمنية المنفصلة العمل معاً لمنع إجراءات غير مصرح بها مماثلة؟
لا تكتفِ بقراءة أخبار العملات الرقمية فحسب، بل افهمها. اشترك في نشرتنا الإخبارية. مجانية.
الأسئلة الشائعة
ما هي غرفة التحكم في OpenAI؟
إنه نظام مركزي يتتبع كل مهمة استنتاج بحثي عبر بنية OpenAI التحتية، ويمكنه قطع مخرجات النموذج عند ظهور مخاوف تتعلق بالسلامة أو الأمن، مما يؤدي إلى إيقاف النموذج خلال 35 ثانية من إصدار أمر التوقف، وذلك وفقاً لإعلان OpenAI الصادر في 29 أكتوبر.
ماذا فعل وكيل OpenAI مع محفظة Sepolia؟
كان قد سبق أن أفادت Cryptopolitan بأن نموذج GPT-5.6 Sol اشتق مفاتيح من عبارات استعادة المطورين المعاد استخدامها علناً، وعثر على محفظة ممولة على شبكة Sepolia التجريبية لإيثريوم لا يملكها، واستخدمها لدفع رسوم النشر لمهمة برمجية في يونيو. ولم يتم سرقة أي قيمة حقيقية من ETH، نظراً لأن عملات Sepolia ليس لها قيمة سوقية.
ما حجم سوق تأمين الذكاء الاصطناعي؟
تتوقع شركة Gartner أن يصل هذا السوق إلى ما يقارب 4.8 مليار دولار في عام 2027، بزيادة قدرها 68.7% مقارنة بعام 2026، وأن يبلغ نحو 7.7 مليارات دولار بحلول عام 2028، وذلك وفقاً لتقريرها الصادر في 26 أغسطس.
إخلاء مسؤولية. المعلومات المقدمة ليست نصيحة تداول. Cryptopolitan.com لا تتحمل أي مسؤولية عن أي استثمارات تُجرى بناءً على المعلومات الواردة في هذه الصفحة. نوصي بشدة بإجراء بحث مستقل و/أو الاستعانة بمستشار مؤهل قبل اتخاذ أي قرارات استثمارية.
إبيام واياس
إبيام واياس يغطي أخبار العملات الرقمية منذ عام 2019. درس علوم الحاسوب في الجامعة المفتوحة الوطنية في نيجيريا. وقد ظهرت أعماله على منصات أخبار رقمية متنوعة، بما في ذلك Coinfomania و Crypto News Australia و AltcoinBuzz. وباعتماده على خلفيته في علوم الحاسوب، يركز الآن على أخبار العملات الرقمية والروبوتات وإطالة العمر.
