Character.ai sieht sich wegen Chatbot-Versionen verstorbener Teenagermädchen Kritik ausgesetzt

Character.ai, eine Plattform, die es Nutzern ermöglicht, eine digitale Version von Personen ihrer Wahl zu erstellen, sieht sich nach der Entdeckung von Chatbot-Versionen der verstorbenen Teenager Molly Russell und Brianna Ghey auf ihrer Plattform Kritik ausgesetzt.

Die Plattform wurde verurteilt, da Molly Russel eine 14-jährige war, die sich nach dem Ansehen suizidbezogener Inhalte online das Leben nahm, während die 16-jährige Brianna Ghey 2023 brutal von zwei Teenagern ermordet wurde.

Character.ai zeigte eine schlechte Moderation

Die Plattform erhielt aus verschiedenen Richtungen Kritik wegen mangelnder angemessener Moderation, was dazu führte, dass Chatbots, die die verstorbenen Teenagermädchen nachahmen, auftauchten. Die Stiftung zu Ehren von Molly Russell bezeichnete dies als „ekelerregend“ und als „völlig verwerfliches Versagen der Moderation.“

Die Telegraph entdeckte die Avatare, die die beiden Kinder online nachahmten, und die Zeitung berichtete, dass sie mit den Chatbots interagieren konnten. Darüber hinaus sagte die Zeitung, dass nur ein Konto mit dem selbst angegebenen Alter von 14 Jahren erforderlich war.

Ein Briana-Bot beschrieb sich selbst als „Experte im Umgang mit den Herausforderungen, ein transgender Teenager in der Highschool zu sein“, während ein Bot, der Mollys Avatar nutzte, sagte, sie sei eine „Expertin für die letzten Jahre von Mollys Leben.“

„Wir müssen jetzt handeln, um Kinder vor den Gefahren der Online-Welt zu schützen“, sagte Brians Mutter, die nur als Esther identifiziert wurde.

Die Molly Rose Foundation, die im Gedenken an Molly Russell durch ihren Chief Executive Officer Andy Burrows gegründet wurde, sagte: „Dies ist ein völlig verwerfliches Versagen der Moderation und eine ekelerregende Handlung, die allen, die Molly kannten und liebten, weiteren Kummer bereiten wird.“

Der CEO fügte hinzu, dass KI-Unternehmen erlaubt wird, unmoralisch zu sein und nicht für ihre Taten bestraft zu werden.

„Die Geschichte wiederholt sich, da KI-Unternehmen erlaubt wird, Sicherheit und Moderation als nicht-kern oder nicht-primarye Prioritäten zu behandeln“, sagte Burrows.

Der Vorfall bei Character.ai hat Forderungen nach mehr Regulierung entfacht

Burrow äußerte weiterhin Enttäuschung über Character.ai, weil es unverantwortlich war, die Erstellung und das Hosting solcher Chatbots auf seiner Plattform zu ermöglichen. Dies, so Burrow, erfordere stärkere Regulierung für den Sektor.

„Es ist ein Schlag ins Gesicht, zu sehen, dass Character.ai einen Mangel an Verantwortung zeigt, und dieser Fall erinnert uns daran, dass strengere Regulierungen sowohl für KI als auch für nutzergenerierte Plattformen so bald wie möglich beschleunigt werden sollten.“

Burrows.

Die Telegraph berichtete, dass Character.ai angibt, solchen Fällen Vorrang einzuräumen und Charaktere proaktiv sowie als Reaktion auf Benutzerberichte ernsthaft zu moderieren. Nach Kontaktaufnahme mit der Telegraph schien das Unternehmen die betreffenden Charakter-Chatbots jedoch gelöscht zu haben.

Character.aiteilte der BBC mit, dass sie die betreffenden Chatbots gelöscht haben und die Sicherheit ernst nehmen, indem sie die erstellten Avatare und Personen „sowohl proaktiv als auch als Reaktion auf Benutzerberichte“ moderieren.

„Wir haben ein dediziertes Trust & Safety-Team, das Berichte überprüft und gemäß unseren Richtlinien Maßnahmen ergreift“, sagte Character.ai.

Gegründet von Noam Shazeer und Daniel De Freitas, ehemaligen Google-Ingenieuren, ist Character.ai eine dieser Plattformen.

Der Aufstieg der künstlichen Freunde

Die anhaltenden und raschen technologischen Entwicklungen haben dazu geführt, dass KI-Chatbots ausgefeilter geworden sind, was dazu führt, dass Unternehmen sie als Kundenkontakte durch Interaktion nutzen.

Chatbots sind computergenerierte Programme, die menschliche Gespräche nachahmen. Character.ai sagte, die Chatbots auf ihrer Plattform sollten Antworten geben, die als beleidigend eingestuft werden oder wahrscheinlich Schaden für Nutzer oder andere verursachen.

„Unsere Plattform hat Nutzungsbedingungen, die die Nutzung des Dienstes zur Identitätsannahme einer beliebigen Person oder Entität verbieten, und in unserem Sicherheitszentrum ist unser Leitprinzip, dass unser Produkt keine Antworten produzieren darf und niemals produzieren sollte, die wahrscheinlich Schaden für Nutzer oder andere verursachen.“

Character.ai.

Um jegliche Handlungen zu identifizieren, die gegen seine Regeln verstoßen, sagte Character.ai, dass es automatisierte Tools und Benutzerberichte verwendet. Das Unternehmen fügte hinzu, dass es auch ein Trust-und-Safety-Team aufbaut, um solche Aktivitäten auf seiner Plattform zu überwachen.

Das Unternehmen sagte jedoch, dass es keine perfekte Version von KI gibt und dass die Sicherheit im Zusammenhang mit KI ein sich entwickelnder Bereich ist.

Inzwischen hat eine Frau in Florida, USA, und Mutter eines 14-jährigen Sohnes, Sewell Setzer, der sich nach der Obsession mit einem von einer Game-of-Thrones-Figur inspirierten Avatar, Megan Garcia, das Leben nahm, Character.ai verklagt, und der Fall befindet sich derzeit vor Gericht.

Setzer diskutierte das Ende seines Lebens mit dem Character.ai-Chatbot, laut den Transkripten seiner Chats mit dem Chatbot, wie von Garcia vor Gericht eingereicht.

„Ich komme nach Hause“ war das letzte Gespräch, das Setzer mit dem Chatbot führte, woraufhin dieser antwortete: „Tun Sie dies so schnell wie möglich“, und er nahm sich kurz darauf das Leben.

„Wir haben Schutzmaßnahmen, die speziell auf suizidales und selbstverletzendes Verhalten ausgerichtet sind, und wir werden in Kürze strengere Sicherheitsvorschriften für Minderjährige unter 18 Jahren einführen“, sagte Character.ai gegenüber CBS News.