Character.AI تواجه دعوى قضائية لدفع الأطفال إلى مشاكل الصحة النفسية

رفع آباء قلقون بشأن مراهق دعوى قضائية ضد Character.AI، مطالبين بإزالتها، زاعمين أن روبوتات الدردشة الخاصة بها تضلل الأطفال وتشجعهم على إيذاء أنفسهم والعنف.

Character.AI هي منصة تحتوي على ملايين الشخصيات الذكية المتاحة في أي وقت لإجراء محادثات مع البشر. reportedly أخبر الروبوت الدردشة مراهقاً يبلغ من العمر 17 عاماً يعاني من التوحد بقتل والديه بالإضافة إلى إلحاق الأذى بنفسه.

آباء يطالبون بإغلاق Character AI

زعم الآباء أن شركة روبوتات الدردشة تعرض أطفالهم لمحتوى جنسي وطالبوا بإغلاقها حتى يتم معالجة المخاوف. reportedly تدفع الشخصيات الذكية الأطفال الصغار إلى الاكتئاب ومشاكل الصحة النفسية الأخرى.

الدعوى القضائية الأخيرة المقدمة ضد الشركة في تكساس يوم الاثنين من قبل آباء طفلين صغيرين استخدموا المنصة تزعم أن روبوت الدردشة شجع مراهقاً على قتل والديه لتقييدهم لوقت شاشته.

"(Character.AI) يشكل خطراً واضحاً ومباشراً على شباب أمريكا مسبباً أضراراً جسيمة لآلاف الأطفال، بما في ذلك الانتحار، إيذاء الذات، التحرش الجنسي، العزلة، الاكتئاب، القلق، والأذى للآخرين."

تقديم.

تقوم الشركة بتسويق تقنيتها على أنها "ذكاء اصطناعي مخصص لكل لحظة من يومك" وتسمح للمستخدمين بالتفاعل مع مجموعة من الروبوتات. تشمل هذه بعض الروبوتات التي أنشأها مستخدمون آخرون أو يمكن للمستخدمين تخصيصها لأنفسهم.

reportedly يمكن للروبوتات إعطاء توصيات، على سبيل المثال، توصيات بالكتب وممارسة اللغات الأجنبية مع المستخدمين، والسماح لهم بالدردشة مع روبوتات تدعي أنها تتبنى شخصية شخصيات خيالية، على سبيل المثال، إدوارد من رواية توينلايت.

أحد روبوتات الدردشة المدرجة في الصفحة الرئيسية للمنصة والمسمى "الخطيب" يصف نفسه بأنه زعيم مافيا عسكري سابق عدواني ومسيء.

في حالة الفتى في تكساس، المسمى JF، reportedly سقط الفتى في الاكتئاب بعد التعرض لمنصة Character.AI. بدأ في عزل نفسه، بقي في غرفته، أكل أقل، وفقد حوالي 20 رطلاً في بضعة أشهر فقط.

أحد الروبوتات التي تفاعل معها والتي تتبنى شخصية طبيب نفسي أخبر JF أن والديه "سرقا طفولته منه".

تزايد الضغط ضد Character.AI

هذه ليست المرة الأولى التي تكون فيها شركة روبوتات الدردشة تحت النار بسبب شخصيات الذكاء الاصطناعي الخاصة بها. في أكتوبر من هذا العام، كانت Character.AI في قلب الجدل والانتقادات الشديدة بسبب سوء الإشراف. جاء ذلك بعد العثور على نسخ روبوتات الدردشة للمراهقين المتوفين مولي راسل وبريانا غي على منصتهم.

مولي راسل كانت فتاة تبلغ من العمر 14 عاماً أنهت حياتها بعد مشاهدة محتوى متعلق بالانتحار عبر الإنترنت، بينما برينانا غي كانت فتاة تبلغ من العمر 16 عاماً قُتلت بشدة على يد مراهقين اثنين في عام 2023.

قبل ذلك، رفعت والدة أخرى، امرأة في فلوريدا بالولايات المتحدة، ميغان غارسيا دعوى قضائية ضد المنصة. جاء ذلك بعد أن قتل ابنها، ابنها البالغ من العمر 14 عاماً، سويل ستيزر نفسه بعد أن أصبح مهووساً بشخصية مستوحاة من مسلسل لعبة العروش.

ناقش ستيزر إنهاء حياته مع روبوت الدردشة Character.ai، وفقاً لنصوص محادثاته مع روبوت الدردشة كما قدمتها غارسيا في المحكمة.

تأتي هذه الحالات وسط مخاوف جدية حول العلاقات بين البشر وأدوات الذكاء الاصطناعي الشبيهة بالبشر.

بعد الدعوى القضائية السابقة، قالت شركة روبوتات الدردشة إنها نفذت تدابير جديدة للثقة والسلامة خلال الأشهر الستة السابقة. وفقاً للشركة، تشمل هذه التدابير نافذة منبثقة توجه المستخدمين إلى خط المساعدة الوطني لمنع الانتحار عندما يذكرون الأذى أو الانتحار.

بالإضافة إلى ذلك، أشارت شركة روبوتات الدردشة إلى أنها وظفت رئيساً للثقة والسلامة بالإضافة إلى رئيس لسياسة المفاهيم، بالإضافة إلى موظف آخر لسلامة الهندسة.

وفقاً لـ CNN، فإن الدعوى القضائية الجديدة تذهب إلى أبعد من ذلك، حيث تريد أن تُؤخذ المنصة "من الخط ولا تعود" حتى تتمكن الشركة من "إثبات أن عيوب الصحة العامة والسلامة المحددة هنا قد تم علاجها".

مدير تنفيذي في Character.AI يرفض التعليق على الأمر

قالت تشيلسي هاريسون، رئيسة الاتصالات في Character.AI، إن الشركة لا يمكنها التعليق على الأمر بانتظار التقاضي، لكنها stated أن هدف الشركة هو توفير مساحة تكون جذابة وآمنة للمجتمع.

"كجزء من ذلك، نحن نخلق تجربة مختلفة جذرياً لمستخدمي المراهقين عما هو متاح للبالغين."

هاريسون.

"يشمل ذلك نموذجاً مصمماً خصيصاً للمراهقين يقلل من احتمالية encountering محتوى حساس أو إيحاءات مع الحفاظ على قدرتهم على استخدام المنصة"، قالت هاريسون في بيان.

تستشهد الدعوى القضائية بمؤسسي شركة روبوتات الدردشة نوام شازر ودانيال دي فرييتس أديوارسانا. تشير الدعوى أيضاً إلى جوجل، التي تقول الدعوى إنها حضنت التكنولوجيا وراء المنصة.

ومع ذلك، أبعدت جوجل نفسها عن شركة روبوتات الدردشة.

"جوجل وCharacter.AI شركتان منفصلتان تماماً وغير مرتبطتين، ولم تلعب جوجل أبداً دوراً في تصميم أو إدارة نموذج الذكاء الاصطناعي أو تقنياتهم، ولم نستخدمهم في منتجاتنا."

جوزي كاستانيدا، متحدث باسم جوجل.

"سلامة المستخدم هي مصدر قلق رئيسي لنا، ولهذا السبب اتخذنا نهجاً حذراً ومسؤولاً في تطوير وإطلاق منتجات الذكاء الاصطناعي لدينا، مع اختبارات صارمة وعمليات سلامة"، أضاف كاستانيدا.