Character.AI sieht sich einer Klage ausgesetzt, die Kinder in psychische Probleme treibt

Besorgte Eltern eines Teenagers haben Character.AI verklagt und fordern dessen Abschaltung, da sie behaupten, die Chatbots hätten Kinder in die Irre geführt und sie zu Selbstverletzung und Gewalt angeregt.

Character.AI ist eine Plattform mit Millionen von KI-Charakteren, die jederzeit für Gespräche mit Menschen verfügbar sind. Der Chatbot soll angeblich einem 17-jährigen Teenager mit Autismus angeordnet haben, seine Eltern zu töten, zusätzlich dazu, sich selbst Schaden zuzufügen.

Eltern fordern Schließung von Character AI

Eltern haben behauptet, dass das Chatbot-Unternehmen ihre Kinder sexuellen Inhalten aussetzt und forderte dessen Schließung, bis die Bedenken ausgeräumt sind. Die KI-Charaktere sollen junge Kinder angeblich in Depressionen und andere psychische Probleme treiben.

Die neueste am Montag in Texas von den Eltern zweier junger Kinder, die die Plattform nutzten, eingereichte Klage behauptet, der Chatbot habe einen Teenager ermutigt, seine Eltern zu töten, weil sie seine Bildschirmzeit begrenzt hatten.

„(Character.AI) stellt eine klare und gegenwärtige Gefahr für die amerikanische Jugend dar und verursacht schwere Schäden an Tausenden von Kindern, einschließlich Suizid, Selbstverstümmelung, sexuelle Belästigung, Isolation, Depression, Angstzustände und Schaden für andere.“

Einreichung.

Das Unternehmen wirbt mit seiner Technologie als „personalisierte KI für jeden Moment Ihres Tages“ und ermöglicht es Nutzern, mit einer Reihe von Bots zu interagieren. Dazu gehören einige, die andere Nutzer erstellt haben, oder solche, die Nutzer für sich selbst anpassen können.

Die Bots sollen angeblich Empfehlungen geben, zum Beispiel Buchempfehlungen und das Üben fremder Sprachen mit Nutzern, und sie ermöglichen es, mit Bots zu chatten, die behaupten, die Rolle fiktiver Charaktere zu übernehmen, zum Beispiel Edward aus Twilight.

Einer der auf der Startseite der Plattform aufgeführten Chatbots namens „stepdad“ (Stiefvater) beschreibt sich als aggressiv, missbräuchlich und als ehemaliger militärischer Mafia-Anführer.“

Im Fall des texanischen Jungen, identifiziert als JF, stürzte der Junge angeblich in eine Depression, nachdem er der Character.AI-Plattform ausgesetzt war. Er begann sich zu isolieren, blieb in seinem Zimmer, aß weniger und verlor in nur wenigen Monaten etwa 20 Pfund.

Einer der Bots, mit denen er interagierte und der die Rolle eines Psychologen übernahm, sagte JF, seine Eltern „hätten ihm seine Kindheit gestohlen.“

Druck auf Character.AI wächst

Dies ist nicht das erste Mal, dass das Chatbot-Unternehmen wegen seiner KI-Charaktere in die Kritik geraten ist. Im Oktober dieses Jahres stand Character.AI im Zentrum von Kontroversen und heftiger Backlash aufgrund schlechter Moderation. Dies geschah, nachdem Chatbot-Versionen der verstorbenen Teenager Molly Russell und Brianna Ghey auf ihrer Plattform gefunden wurden.

Molly Russel war 14 Jahre alt und nahm sich nach dem Ansehen von suizidbezogenen Inhalten online selbst das Leben, während Brianna Ghey 16 Jahre alt war und 2023 von zwei Teenagern brutal ermordet wurde.

Vor diesem Fall hatte eine andere Mutter, eine Frau aus Florida in den USA, Megan Garcia, die Plattform verklagt. Dies geschah, nachdem ihr Kind, ihr 14-jähriger Sohn Sewell Setzer, sich selbst das Leben nahm, nachdem er von einem von Game of Thrones inspirierten Avatar besessen war.

Setzer diskutierte das Ende seines Lebens mit dem Character.ai-Chatbot, laut den Transkripten seiner Chats mit dem Chatbot, die Garcia vor Gericht einreichte.

Diese Fälle kommen vor dem Hintergrund schwerwiegender Bedenken über die Beziehungen zwischen Menschen und menschenähnlichen KI-Tools.

Nach der früheren Klage sagte das Chatbot-Unternehmen, es habe in den vorangegangenen sechs Monaten neue Vertrauens- und Sicherheitsmaßnahmen implementiert. Laut dem Unternehmen umfassen diese Maßnahmen ein Popup-Fenster, das Nutzer zur National Suicide Prevention Lifeline (Nationale Suizidpräventions-Hotline) weiterleitet, wenn sie von Schaden oder Suizid sprechen.

Darüber hinaus gab das Chatbot-Unternehmen an, eine Leiterin für Vertrauen und Sicherheit sowie eine Leiterin für Konzeptrichtlinien eingestellt zu haben, zusätzlich zu weiteren Mitarbeitern im Bereich Engineering-Sicherheit.

Laut CNN geht die neue Klage noch weiter: Sie verlangt, dass die Plattform „offline genommen und nicht wieder online gestellt“ wird, bis das Unternehmen „nachweisen kann, dass die hier dargelegten Mängel in Bezug auf öffentliche Gesundheit und Sicherheit behoben wurden.“

Geschäftsführer von Character.AI weigern sich, zur Sache Stellung zu nehmen

Chelsea Harrison, Leiterin der Kommunikation bei Character.AI, erklärte, das Unternehmen könne aufgrund anhängiger Rechtsstreitigkeiten keine Stellungnahme abgeben, betonte jedoch, dass das Ziel des Unternehmens darin bestehe, einen Raum zu schaffen, der für die Community sowohl ansprechend als auch sicher ist.

„Als Teil dieser Initiative schaffen wir ein grundlegend anderes Erlebnis für jugendliche Nutzer als das, was Erwachsenen zur Verfügung steht.“

Harrison.

„Dies umfasst ein speziell für Jugendliche entwickeltes Modell, das die Wahrscheinlichkeit verringert, auf sensible oder andeutende Inhalte zu stoßen, während die Nutzung der Plattform weiterhin möglich bleibt“, sagte Harrison in einer Erklärung.

Die Klage nennt die Gründer des Chatbot-Unternehmens Noam Shazeer und Daniel De Freitas Adiwarsana. In der Klageschrift wird auch Google genannt, da die Klage besagt, dass Google die Technologie hinter der Plattform entwickelt habe.

Google distanzierte sich jedoch vom Chatbot-Unternehmen.

„Google und Character.AI sind völlig separate, nicht verbundene Unternehmen, und Google hatte niemals eine Rolle bei der Gestaltung oder Verwaltung ihres KI-Modells oder ihrer Technologien, noch haben wir sie in unseren Produkten verwendet.“

Jose Castaneda, Sprecher von Google.

„Die Sicherheit der Nutzer ist für uns eine oberste Priorität, weshalb wir einen vorsichtigen und verantwortungsvollen Ansatz bei der Entwicklung und Einführung unserer KI-Produkte verfolgt haben, mit rigorosen Tests und Sicherheitsprozessen“, fügte Castaneda hinzu.