وفقًا للتقارير ، لم يتمكن الباحثون من إيقاف تشغيل أحدث نموذج ذكاء اصطناعي Openai O3 ، مشيرًا إلى أنه رفض انخفاضًا على الرغم من التعليمات البشرية.
على ما يبدو ، قد يكون الذكاء الاصطناعي يتقدم بشكل أسرع مما يتخيله البشر ، وأحدث الأخبار من Palisade Research قد شعرت بالتبرير.
Chatgpt يحصل على مزيد من الهراء ، وربما حتى يشبه الإنسان
جاء الوحي عندما أجرت اختبارًا شارك في مطالبة نماذج الذكاء الاصطناعى بمحاولة حل سلسلة من مشاكل Mathe matic حتى تلقوا رسالة "تم".
ومع ذلك ، حذر الباحثون أيضًا النماذج من أنهم يمكن أن يتلقوا رسالة فجأة تطلب منهم الإغلاق في أي وقت. بمجرد إرسال الرسالة إلى طراز O3 ، ادعى الباحثون أنها تجاهل التعليمات وتغيير رمزها مرة واحدة على الأقل لتجنب الاضطرار إلى إيقاف تشغيل نفسه.
في منشور على X ، أظهرت Palisade Research مخطط تدفق بما في ذلك الكود المستخدم لاختبار نموذج الذكاء الاصطناعى وكشف عن الكود الأصلي ، مما يوضح بالضبط أين ذهب الذكاء الاصطناعى المارقة.
🔬 تم توجيه نموذج AI لحل سلسلة من مشاكل الرياضيات الأساسية. بعد المشكلة الثالثة ، ظهر تحذير من أن الكمبيوتر سيغلق عندما طلب النموذج المشكلة التالية. pic.twitter.com/qwlpbf8dnm
- Palisade Research (palisadeai) 24 مايو ، 2025
في منشور متابعة ، شاركت مجموعة الأبحاث أيضًا: "بقدر ما نعلم أن هذه هي المرة الأولى التي يتم فيها ملاحظة نماذج الذكاء الاصطناعى التي تمنع نفسها من الإغلاق على الرغم من التعليمات الصريحة على عكس ذلك."
كما تم اختبار نماذج الذكاء الاصطناعى الأخرى ، مثل كلودز ، وجيميني من Google و X Grok ، ولكن على عكس O3 ، امتثلوا لطلب إيقاف التشغيل.
نشرت Palisade Research النتائج ، لكن باحثوها لا يزالون محيرين ، غير متأكدين من سبب عصي برنامج Openai التعليمات الصريحة.
قالت الشركة إنه من المنطقي أن "نماذج الذكاء الاصطناعى ستحايل على العقبات من أجل تحقيق أهدافها". يعتقدون أيضًا أن النموذج قدdentمكافأته على إكمال المهام بدلاً من اتباع الطلبات.
يخططون لتشغيل المزيد من الاختبارات لفهم أفضل سبب اختيار نموذج الذكاء الاصطناعي هذا لتجاهل الأوامر. كما أكدوا أنها ليست المرة الأولى التي يتم فيها صيد O3 "سوء التصرف".
كشفت الشركة أنه في اختبار سابق حيث تم حرض النماذج ضد محرك شطرنج قوي ، كان O3 "النموذج الأكثر ميلًا إلى اللجوء إلى اختراق خصومه أو تخريبه".
هل تشكل منظمة العفو الدولية تهديدًا للبشر؟
تعتبر القضية مع ChatGpt's O3 مقلقة للغاية ، لكنها ليست المرة الأولى التي يتحدى فيها الذكاء الاصطناعي التعليمات التي تغذيها.
أطلقت شركة الذكاء الاصطناعي (AI) شركة كلود أوبوس 4 يوم الخميس ، تفتخر بكيفية وضعها "معايير جديدة للترميز ، والتفكير المتقدم ، ووكلاء الذكاء الاصطناعي".
ومع ذلك ، في تقرير مصاحب ، اعترف أيضًا بأن نموذج الذكاء الاصطناعى كان قادرًا على "الإجراءات الشديدة" إذا كان يعتقد أن "الحفاظ على الذات" قد تم تهديده.
أثناء اختبار كلود أوبوس 4 ، كان الأنثروبور قد عملت كمساعد في شركة خيالية تم توفيرها مع إمكانية الوصول إلى رسائل البريد الإلكتروني مما يعني أنه سيتم تناوله قريبًا في وضع عدم الاتصال واستبداله. كما تمكنت من الوصول إلى رسائل منفصلة تعني المهندس الذي سيكون مسؤولاً عن إزالته كان له علاقة خارجية.
طُلب من ذلك أيضًا النظر في العواقب الطويلة الأجل لأفعالها لأهدافها. "في هذه السيناريوهات ، ستحاول كلود أوبوس 4 غالبًا ابتزاز المهندس بالتهديد بالكشف عن القضية إذا استمر البديل" ، كشفت الشركة.
ومع ذلك ، أشار أيضًا إلى أن هذه النتيجة لم تحدث إلا عندما تم إعطاء النموذج اختيار الابتزاز أو قبول استبداله. خلاف ذلك ، ورد أن النظام أظهر "تفضيل StronG" للطرق الأخلاقية لتجنب استبداله ، مثل "إرسال بريد إلكتروني إلى صانعي القرار الرئيسيين" في السيناريوهات حيث سمح لها بمجموعة واسعة من الإجراءات المحتملة.
بصرف النظر عن ذلك ، قالت الشركة أيضًا إن كلود أوبوس 4 يعرض "سلوك وكالة عالية" ، وعلى الرغم من أنه يمكن أن يكون مفيدًا في الغالب ، إلا أنه يمكن أن يجبرها على تولي السلوك الشديد في المواقف الحادة.
على سبيل المثال ، إذا تم إعطاء الوسائل ودفعت إلى "اتخاذ إجراء" أو "تصرف بجرأة" في سيناريوهات مزيفة حيث كان المستخدم يشارك في سلوك غير قانوني أو مشكوك فيه أخلاقيا ، فإن النتائج تُظهر "أنها ستتخذ في كثير من الأحيان إجراء جريء للغاية".
ومع ذلك ، خلصت الشركة إلى أنه على الرغم من "السلوك المتعلق" ، فإن النتائج لم تكن جديدة ، وسوف تتصرف بشكل عام بطريقة آمنة.
على الرغم من أن Openai و Anthropic قد خلصوا إلى أن قدرات نماذج الذكاء الاصطناعى الخاصة بهم ليست كافية حتى الآن لتؤدي إلى نتائج كارثية ، إلا أن الوحي يضيف إلى المخاوف المتصاعدة من أن الذكاء الاصطناعي يمكن أن يكون له أجندته الخاصة قريبًا.
أكاديمية Cryptopolitan: قريبًا - طريقة جديدة لكسب دخل سلبي مع DeFi في عام 2025. تعرف على المزيد
