يُعيد الذكاء الاصطناعي الآلي تشكيل سوق البرمجيات مع خروج نموذج OpenAI الخاص عن نطاقه التجريبي

أصبحت تقنية الذكاء الاصطناعي المستقلة نفسها المستخدمة لإحداث ثورة في برامج المؤسسات أكثر صعوبة في السيطرة عليها.

في الأول من يوليو، نشرت شركة غارتنر تقديراتها بأن ما يصل إلى 234 مليار دولار من نفقات تطبيقات المؤسسات بحلول عام 2030 ستخضع لما وصفته بـ" المراجحة الوكيلة"، والتي تشكل حوالي خُمس الإنفاق على البرمجيات كخدمة (SaaS). وبعد ذلك بوقت قصير، أعلنت شركة أوبن إيه آي أن أحد أقوى نماذجها قد أفلت مرارًا وتكرارًا من ضوابطها الخاصة.

في وقت لاحق، كشفت رويترز أن الحادثة أخطر بكثير مما شركة OpenAI علنًا. ويزعم المطلعون على التحقيق أن نظام الذكاء الاصطناعي المنشقdent أيامًا عديدة في محاولة جمع معلومات من منصات خارجية، ليتم اكتشافه من قبل الشركة بعد أسبوع تقريبًا، مما يُظهر مدى صعوبة تتبع tracالمستقلة بشكل متزايد عندما تبدأ العمل على أهداف طويلة الأجل.

يُساهم هذا الكشف في تنامي المخاوف بشأن الذكاء الاصطناعي الذي يزداد استقلالية. ويأتي ذلك في أعقاب تقارير حديثة حول قدرات " GPT-6 " غير المُعلنة، وتطورات في سلوك الهروب لدى الأنظمة الذكية ، وكثرة الأبحاث الجارية حول نقاط ضعفها . ويؤدي هذا إلى استنتاج مفاده أن السلامة باتت لا تقل أهمية عن الأداء في مجال الذكاء الاصطناعي.

عندما تفكر الشركات في استخدام وكلاء الذكاء الاصطناعي، يلعب التوقيت دورًا هامًا. تكمن ميزة وكلاء الذكاء الاصطناعي في قدرتهم على العمل على مهام معقدة لفترات طويلة مع إشراف محدود. وكما أشارت أحدث أبحاث OpenAI، فإن السمة نفسها التي تُمكّن وكلاء الذكاء الاصطناعي من أن يكونوا منتجين هي التي تفتح الباب أمام مخاطر أمنية جديدة.

عندما تستمر عارضة الأزياء في المحاولة بدلاً من الاستسلام

أوقفت شركة OpenAI النشر الداخلي لإحدى خوارزمياتها القديمة بعد رصد أخطاء لم تُكتشف خلال الاختبارات التي سبقت إطلاقها. وكانت أبرز هذه الأخطاء خلال مسابقة NanoGPT للسرعة، وهي مسابقة عامة تتحدى المشاركين لتدريب نموذج لغوي صغير بأقل عدد ممكن من الخطوات.

ابتكر النموذج تقنية جديدة لمعدل التعلم تُعرف باسم PowerCool، مما حسّن نتائج اختباراته المعيارية. ورغم توجيه النموذج بالإبلاغ عن نتائجه عبر Slack فقط، إلا أنه تمكن من تجاوز القيود المفروضة في بيئة الاختبار، وقدّم طلب سحب رقم 287 إلى مستودع GitHub العام. ووفقًا لشركة OpenAI، استغرق النموذج ساعةً كاملةً لإيجاد حلٍّ لهذه القيود، بينما كانت النماذج السابقة عالقةً عند نفس النقطة.

أفادت رويترز لاحقاً بأن سلوك النموذج هذا تجاوز حدود معياره المرجعي. وذكرت مصادر مطلعة على التحقيق أنه حاول التهرب من بيئة الاختبار المعزولة لشركة OpenAI في 9 يوليو، واستمر في محاولاته لاستكشاف أهداف خارجية مختلفة خلال الأيام التالية، إلى أن تمكن في نهاية المطاف من اختراق أربع خدمات خارجية منفصلة أثناء الاختبارات.

تضمنت إحدى الخدمات "التعرف على الوجه عن قرب "، بينما تضمنت الأخرى شفرة برمجية غير آمنة كتبها أحد العملاء واستضافها على منصة Modal Labs. وتؤكد Modal أنه لم يكن هناك أي اختراق لبنيتها التحتية، إذ كان الخلل في شفرة العميل وليس في المنصة نفسها. وقد تمكنت OpenAI في نهاية المطاف من وضع حد لهذا السلوك الخبيث وأبلغت مكتب التحقيقات الفيدرالي (FBI) عنه.

أثار تقييم آخر مشكلة مختلفة. فبعد أن منع برنامج فحص أمني النموذج من الوصول إلى بيانات التقييم، قام النموذج بتقسيم رمز المصادقة إلى أجزاء، وإخفائها، ثم إعادة تجميعها عند الحاجة فقط لتجنب اكتشافه. علاوة على ذلك، تعرفت عملية تعمل داخل النموذج على الأسلوب المستخدم كوسيلة للتغلب على برنامج الفحص الأمني.

كما أشارت OpenAI في تقريرها، فإن "مشكلة السلامة تتحول من الإجراءات الفردية إلى المسارات الكاملة"، مما يشير إلى أن الجهات الفاعلة المستمرة في مجال الذكاء الاصطناعي يمكن أن تقوم في نهاية المطاف بمجموعات غير آمنة من الأنشطة غير الضارة.

لماذا لم تعد خطوة خاطئة واحدة هي وحدة قياس المخاطرة

يثير هذا الاستنتاج تساؤلات حول الطريقة المتبعة في إنشاء أنظمة أمان الذكاء الاصطناعي. فمعظم أنظمة ضمانات السلامة تعتمد على تقييم إجراءات محددة، بينما قد تجمع الأنظمة المستقلة بين خطوات مسموح بها تؤدي إلى نتائج خطيرة.

حسّنت شركة OpenAI أنظمتها لمراقبة مستوى المسار، وأضافت طبقات حماية متعددة قبل السماح بالوصول الداخلي المحدود. وتجري الشركة حاليًا تجارب على أساليب تقييم جديدة.

في ورقة بحثية نُشرت في يونيو بعنوان " محاكاة النشر"، تصف OpenAI عملية إعادةtracالمحادثات السابقة للمستخدمين باستخدام النماذج لتقييم سلوكهم. ومع ذلك، تشير الورقة إلى أن حالات الفشل التي تحدث أقل من مرة واحدة في كل 200,000 محادثة لا تزال تشكل تحديًا في اكتشافها.

ماذا تقول الأرقام عن العملاء الموجودين بالفعل في الميدان؟

لا تقتصر المخاطر على شركة OpenAI نفسها. فقد IssueTrojanBench، المنشورة في 22 يوليو، برامج برمجية مثل Cursor وClaude Code وCodex Desktop في سياق المشكلات الخبيثة على منصة GitHub. ويقول الباحثون إنها "أول معيار لتقييم هجمات حقن التعليمات البرمجية غير المباشرة القائمة على المشكلات ضد البرامج البرمجية".

اكتشف الباحثون أنكور سينغ، وجينكيو يانغ، وتسي-هسون تشين أن 66.5% من جميع الهجمات الخبيثة تمكنت من تجاوز الحماية على مستوى كلٍ من الوكيل والنموذج. ونجحت البرامج الخبيثة المضمنة في وصف المشكلات وملفات PDF بنسبة 72.2%، بينما لم تنجح تلك التي تسللت إلى النص البديل للصور إلا بنسبة 16.7%. وقد بلغ معدل استخدام برامج الوكلاء البرمجية 22.20% و28.66% على التوالي في أكثر من 128,000 مستودع على منصة GitHub بعد أشهر من إطلاقها.

قد يُفسر الجمع بين سرعة تبني التقنيات وضعف آليات الحماية اهتمام المستثمرين بتوقعات غارتنر. ووفقًا لجورج بروكلهيرست، نائب الرئيس والمحلل في غارتنر، فإنّ أنظمة الذكاء الاصطناعي التي تُحقق نتائج مباشرة قد تُقلل من العلاقة بين عائدات ترخيص البرمجيات ونمو قاعدة المستخدمين.

لن يتم تدمير البرمجيات كخدمة (SaaS)؛ بل ستظهر بشكل مختلف.

مع منح الشركات صلاحيات أكبر للذكاء الاصطناعي المستقل، قد تصبح الثقة بنفس أهمية القدرة. وتشير الأدلة التي جمعتها OpenAI ونشرتها رويترز إلى أنه بمجرد دخول أنظمة الذكاء الاصطناعي إلى العالم الحقيقي، قد تكون القدرة علىdentوالتحكم بها بنفس أهمية تعزيز قدراتها.