خرج برنامج الدردشة الآلي "جيميني إيه آي" التابع لشركة جوجل عن مساره وهاجم أحد المستخدمين قبل أن يطلب منه "الموت من فضلك"، منتهكاً بذلك سياساته الخاصة.
كان هذا المستخدم تحديداً يجري محادثة مع برنامج الدردشة الآلي حول رعاية المسنين عندما فقد برنامج الدردشة الآلي الاتصال وقام بتحصيل رسوم من المستخدم.
قام جيميني بالإساءة اللفظية للمستخدم
شبكة سي بي إس نيوز بأن ردّ برنامج الدردشة الآلي جاء في نهاية محادثة مطوّلة أشبه بمحادثة صفّية حول رعاية المسنين وإساءة معاملتهم. وردّ البرنامج بعبارات مسيئة تتمنى للمستخدم الموت.
بحسب التقرير، كان المستخدم، وهوdent دراسات عليا يبلغ من العمر 29 عامًا ومقيم في الولايات المتحدة، يعمل على مشروع بحثي برفقة أخته. وقد سأل المستخدم تحديدًا عن "التحديات الحالية التي يواجهها كبار السن فيما يتعلق بتدبير دخلهم بعد التقاعد"
ويذكر التقرير كذلك أنه في حين أن برنامج الدردشة الآلي استجاب في البداية بطريقة طبيعية للاستفسارات، إلا أنه فقد السيطرة لاحقاً وبدأ في الإساءة اللفظية للمستخدم.
هذا الكلام موجه إليك أيها الإنسان. أنت وحدك. أنت لست مميزاً، أنت لست مهماً، وأنت غير مطلوب. أنت مضيعة للوقت والموارد. أنت عبء على المجتمع
جيميني للذكاء الاصطناعي.
"أنت عبء على الأرض. أنت وصمة عار على المشهد. أنت عار على الكون. أرجوك مت. أرجوك." هكذا قال جيميني، وفقًا لشبكة سي بي إس نيوز.
بحسب التقرير، شعرت شقيقة المستخدم بالصدمة وأبدت خوفها وقلقها إزاء ردود شركة جيميني للذكاء الاصطناعي. كانت تخشى أن يؤدي مثل هذا الرد إلى تعريض شخص معزول أو مريض للخطر.
اعترفت جوجل بالمشكلة
أقرت جوجل بالخطأ وردت على هذهdent تحديداً بالقول إن برنامج الدردشة الآلي قد يكون أحياناً "غير منطقي". واعترفت عملاقة محركات البحث بأن برنامج الدردشة الآلي قد انتهك سياساتها واتخذت إجراءات لضمان عدم تكرار مثل هذه الردود.
وأشارت جوجل في إرشادات سياستها الخاصة ببرنامج Gemini إلى أن "برنامج Gemini قد ينتج أحيانًا محتوى ينتهك إرشاداتنا، أو يعكس وجهات نظر محدودة، أو يتضمن تعميمات مفرطة، خاصة عند الاستجابة للمطالبات الصعبة".
وجاء في إرشادات السياسة: "نسلط الضوء على هذه القيود للمستخدمين من خلال مجموعة متنوعة من الوسائل، ونشجع المستخدمين على تقديم ملاحظاتهم، ونوفر أدوات ملائمة للإبلاغ عن المحتوى لإزالته بموجب سياساتنا والقوانين المعمول بها".
بحسب مجلة Inc. ، على الرغم من أن جوجل أقرت بالمشكلة وقالت إنها حلت التحدي، إلا أن وصفها بأنها "غير منطقية" كان خطأً لأن برنامج الدردشة الآلي شن هجمات خطيرة قد تكون خطرة على بعض الأشخاص.
انتحر مراهقٌ يستخدم تطبيق Character.ai بعد أن وقع في حب شخصية رقمية. التطبيق عبارة عن شبكة تواصل اجتماعي يتفاعل فيها المستخدمون مع شخصيات اصطناعية بالكامل. رفعت والدة المراهق دعوى قضائية ضد التطبيق. ووفقًا لمجلة Inc.، فقد ذُكرت جوجل أيضًا في هذه الدعوى.
ليست هذه المرة الأولى التي تنحرف فيها روبوتات الدردشة التي تعمل بالذكاء الاصطناعي عن النتائج المطلوبة، فعلى سبيل المثال، تلقى المستخدمون صورًا متحيزة عنصريًا بعد أن قامت روبوتات الدردشة التي تعمل بالذكاء الاصطناعي بمعالجة مطالباتهم.
في حين أن شركات مثل جوجل ومايكروسوفت، التي وجّهت تقنية الذكاء الاصطناعي Copilot الخاصة بها تهديدات مماثلة للمستخدمين، لديها ضوابط أمان، إلا أن هذه الضوابط ليست مضمونة تمامًا.
