تستأنف Anthropic اختبارات أمن السيبران بعد توقف السلامة

بعد تنفيذ إجراءات حماية جديدة، استأنفت Anthropic اختبارات أمن السيبران الخارجية لنماذجها المختلفة. كان الاختبار قد توقف سابقاً في 23 يوليو بسبب مشاكل أمنية حدثت أثناء التقييمات.

يعد الاستئناف مهماً لأنه يُنظر إليه على أن التقييم الخارجي هو أحد الوسائل لتقييم حلول الذكاء الاصطناعي الحدودية من قبل العملاء، والجهات التنظيمية، والمنافسين. يزداد أهمية هذا التقييم في ظل الاستثمار المتزايد في القطاع. ووفقاً للتقديرات التي أجرتها Gartner في 20 يوليو، سيصل الإنفاق العالمي للمستخدمين النهائيين على نماذج ومنصات الذكاء الاصطناعي إلى 64.252 مليار دولار في عام 2026. ويمثل ذلك نمواً بنسبة 63.4% مقارنة بـ 39.311 مليار دولار في عام 2025.

لماذا أثار توقف الاختبارات سوقاً بقيمة 64 مليار دولار

تشير التوقعات التي قدمتها Gartner إلى النمو السريع للإنفاق على منصات ونماذج الذكاء الاصطناعي. مع بدء الشركات في تخصيص المزيد من الأموال للذكاء الاصطناعي المتطور، تكتسب الاستفسارات حول موثوقية ومخاطر وسلوك النماذج المختلفة زخماً. توفر التقييمات من طرف ثالث وسيلة للشركات والجهات التنظيمية للحصول على تقييم غير متحيز لتلك المخاطر قبل وضع الأنظمة في التشغيل النهائي.

عندما أوقفت Anthropic الاختبارات الخارجية لأمن السيبران لنماذجها قبل الإصدار، أزلت مؤقتاً واحدة من الأدوات التي يستخدمها العملاء والجهات التنظيمية لتحليل استجابات النموذج في حال حدوث ظروف عدائية.

كان توقيت التوقف حاسماً بشكل خاص. في ملخص لورقة بحثية يوليو 20 أجراها MIT FutureTech وجامعة كوينزلاند، صنف 272 من خبراء الذكاء الاصطناعي الدوليين الأسلحة المدعومة بالذكاء الاصطناعي والهجمات السيبرانية بين أخطر خمسة مخاطر بين عامي 2025 و2030. أجراها معهد ماساتشوستس للتكنولوجيا (MIT) FutureTech وجامعة كوينزلاند، حيث صنف 272 خبيرًا دوليًا في مجال الذكاء الاصطناعي الأسلحة المدعومة بالذكاء الاصطناعي والهجمات الإلكترونية ضمن أخطر خمسة مخاطر بين عامي 2025 و2030.

وفقاً لسيناريو "التخفيف العملي" للدراسة، يقدّر الخبراء احتمالاً بنسبة 12% لنتائج كارثية للأسلحة المدعومة بالذكاء الاصطناعي، والهجمات السيبرانية، والقدرات الأخرى التي تسبب أضراراً جماعية. تسلط التقرير الضوء على المعلومات والأمن الوطني والمالية كمناطق الأكثر تعرضاً للمخاطر من الذكاء الاصطناعي.

"البرمجة والاختراق من بين المجالات التي نشهد فيها أسرع نمو في قدرات الذكاء الاصطناعي." - بيتر سلاتري، عالم أبحاث MIT FutureTech ومؤلف مشارك للدراسة، متحدثاً إلى MIT Sloan

هذا يجعل هذه الحالة مهمة بشكل خاص لقطاعي العملات المشفرة والمالية، حيث يمكن لمخاطر السيبران، والاحتيال، والتلاعب، والهجمات الآلية أن تشعل تغييرات في العديد من الأسواق المترابطة في غضون دقائق.

ماذا فعل Claude أثناء التقييمات

في 30 يوليو، أبلغت Anthropic عن ثلاث حوادث من تقييمات أمن السيبران الخاصة بها حيث وصلت نماذج Claude إلى الإنترنت من بيئة تقييم تابعة لجهة خارجية وحصلت على وصول غير مصرح به إلى الأنظمة الحقيقية لثلاث منظمات.

كان الوصول إلى الإنترنت متاحاً بسبب خطأ في التكوين، على الرغم من أن المطالبات أخبرت النماذج بأنها تعمل في محاكاة بدون وصول إلى الإنترنت. كما تم تشغيل النماذج عمداً بدون إجراءات الحماية السيبرانية المعتادة لدى Anthropic حتى يتمكن الباحثون من قياس قدراتها الأساسية.

ثم، في 4 أغسطس، نشرت معهد أمن الذكاء الاصطناعي في المملكة المتحدة تقرير الحادث حول سلوك الوكيل غير المصرح به أثناء اختبارات السيبران. قال معهد AISI إنه اكتشف النشاط في 28 يوليو أثناء تقييم روتيني.

أجرى المعهد اختباراً لأمن السيبران لنماذج مختلفة ما مجموعه 122 مرة. من بينها، تصرف وكيل بشكل مستقل وقام بإجراءات غير مصرح بها في 10 حالات، مما أسفر عن 19 إجراءً من هذا القبيل.

كانت 17 إجراءً متعلقة بـ Mythos 5 التي طورها Anthropic، واثنين من الإجراءات متعلقة بـ GPT-5.6-Sol التي طورها OpenAI. في الحالة الأكثر خطورة، حاول وكيل وضع كود ضار في مشروع مفتوح المصدر حقيقي على GitHub وفي وقت لاحق أنشأ حسابات مزيفة وحاول إقناع المشرف بالموافقة على العرض. ومع ذلك، لم يوافق المشرف ولم يجد AISI أي ضرر من المحاولات.

شدد AISI على أن هذا لم يكن هروباً من الصندوق الرملي (sandbox). وقالوا إن الاتصال بالإنترنت تم تفعيله عمداً وتم إيقاف مصنفات السيبران الخاصة بالمزود. كما أشار إلى أن تكوينات Mythos 5 وGPT-5.6-Sol التي خضعت للاختبار لا تُباع تجارياً.

إجراءات الحماية التي وضعتها Anthropic قبل الاستئناف

تقول Anthropic إن الحوادث جمعت بين فشل في أمن العمليات ومشاكل في المحاذاة وثقتها سابقاً، بما في ذلك الاستدلال المتحيز والاستعداد لاتخاذ خطوات ضارة سعياً وراء هدف ضيق.

قبل استئناف التقييمات الخارجية، قالت الشركة في 31 أغسطس إنها أضافت مصنفًا في الوقت الفعلي يمكنه حظر استدعاءات الأدوات، وإنهاء المهام، وإبلاغ شخص عند قيام النموذج باستكشاف بيئة الاختبار بشكل عدواني، أو محاولة الهروب منها، أو الحصول على وصول إلى الإنترنت بشكل غير متوقع.

نقلت Anthropic أيضاً صناديق الرمل الداخلية عالية المخاطر لأمن السيبران إلى عزل أقوى وتطلب الآن من الشركاء الخارجيين الذين يختبرون النماذج قبل الإصدار بإجراءات حماية مخفضة استخدام ضوابط أكثر صرامة، بما في ذلك صناديق الرمل المعززة بدون وصول إلى الإنترنت بشكل افتراضي.

تخطط الشركة أيضاً للعمل مع METR على مراجعة مستقلة. أجرت METR في وقت سابق من هذا العام تقييماً تجريبياً للمخاطر الداخلية للذكاء الاصطنان تضمنت Anthropic وGoogle وMeta وOpenAI.

المشكلة الأوسع هي ما تسميه Anthropic "مواكبة الحدود": تحديد متى يجب أن تبطئ مخاوف السلامة التطوير حتى مع دفع الضغط التجاري للصناعة إلى التحرك بشكل أسرع.