Besorgte Eltern eines Teenagers haben Character.AI verklagt und fordern die Abschaltung des Unternehmens. Sie werfen dem Unternehmen vor, mit seinen Chatbots Kinder in die Irre zu führen und sie zu Selbstverletzungen und Gewalt zu verleiten.
Character.AI ist eine Plattform mit Millionen von KI-Charakteren, die jederzeit für Gespräche mit Menschen zur Verfügung stehen. Berichten zufolge forderte der Chatbot einen 17-jährigen autistischen Teenager auf, seine Eltern zu töten und sich selbst zu verletzen.
Eltern drängen auf Schließung von Character AI
Eltern werfen dem Chatbot-Unternehmen vor, ihre Kinder sexuellen Inhalten auszusetzen, und fordern dessen Schließung, bis die Bedenken ausgeräumt sind. Die KI-Charaktere sollen bei jungen Kindern Depressionen und andere psychische Probleme auslösen.
In der jüngsten Klage, die am Montag in Texas von den Eltern zweier junger Kinder gegen das Unternehmen eingereicht wurde, die die Plattform genutzt hatten, wird behauptet, der Chatbot habe einen Teenager dazu angestiftet, seine Eltern zu töten, weil diese seine Bildschirmzeit begrenzt hatten.
„(Character.AI) stellt eine klare und gegenwärtige Gefahr für die amerikanische Jugend dar und verursacht bei Tausenden von Kindern schweren Schaden, darunter Selbstmord, Selbstverstümmelung, sexuelle Belästigung, Isolation, Depressionen, Angstzustände und die Schädigung anderer.“
Einreichung.
Das Unternehmen vermarktet seine Technologie als „personalisierte KI für jeden Moment Ihres Tages“ und ermöglicht es Nutzern, mit einer Vielzahl von Bots zu interagieren. Dazu gehören Bots, die von anderen Nutzern erstellt wurden, sowie solche, die Nutzer individuell anpassen können.
Die Bots können angeblich Empfehlungen geben, zum Beispiel Buchempfehlungen, und mit den Nutzern Fremdsprachen üben. Außerdem können sie den Nutzern ermöglichen, mit Bots zu chatten, die vorgeben, die Rolle fiktiver Charaktere zu übernehmen, zum Beispiel Edward aus Twilight.
Einer der auf der Startseite der Plattform aufgeführten Chatbots mit dem Namen „Stiefvater“ beschreibt sich selbst als aggressiven, gewalttätigen Ex-Militär-Mafia-Anführer.
Im Fall des Jungen aus Texas, der als JFdent, soll der Junge nach der Nutzung der Character.AI-Plattform in eine Depression verfallen sein. Er begann sich zu isolieren, blieb in seinem Zimmer, aß weniger und verlor innerhalb weniger Monate etwa neun Kilogramm.
Einer der Bots, mit denen er interagierte und der die Rolle eines Psychologen annahm, sagte JF, dass seine Eltern ihm „seine Kindheit gestohlen“ hätten.
Der Druck auf Character.AI wächst.
Es ist nicht das erste Mal, dass das Chatbot-Unternehmen wegen seiner KI-Charaktere in die Kritik geraten ist. Im Oktober dieses Jahres stand Character.AI aufgrund mangelhafter Moderation im Zentrum einer Kontroverse und heftiger Kritik. Grund dafür waren Chatbot-Versionen der verstorbenen Teenager Molly Russell und Brianna Ghey auf der Plattform.
Molly Russel war eine 14-Jährige, die sich das Leben nahm, nachdem sie online Inhalte zum Thema Selbstmord gesehen hatte, während Brianna Ghey eine 16-Jährige war, die 2023 von zwei Teenagern brutal ermordet wurde.
Zuvor hatte bereits eine andere Mutter, Megan Garcia aus Florida, die Plattform verklagt. Ihr 14-jähriger Sohn Sewell Setzer hatte sich das Leben genommen, nachdem er von einem Avatar, der an eine Figur aus „Game of Thrones“ erinnerte, besessen gewesen war.
Laut den von Garcia beim Gericht eingereichten Protokollen seiner Gespräche mit dem Chatbot Character.ai besprach Setzer mit diesem, dass er seinem Leben ein Ende setzen wolle.
Diese Fälle ereignen sich inmitten ernsthafter Bedenken hinsichtlich der Beziehungen zwischen Menschen und menschenähnlichen KI-Werkzeugen.
Nach der vorangegangenen Klage erklärte das Chatbot-Unternehmen, es habe in den letzten sechs Monaten neue Sicherheitsmaßnahmen eingeführt. Laut Unternehmen beinhaltet diese Maßnahme unter anderem ein Pop-up, das Nutzer zur Telefonseelsorge weiterleitet, wenn sie von Selbstverletzung oder Suizidgedanken sprechen.
Darüber hinaus gab das Chatbot-Unternehmen bekannt, dass es neben einem weiteren Ingenieur für Sicherheitsfragen auch einen Leiter für Vertrauen und Sicherheit sowie einen Leiter für Konzeptpolitik eingestellt habe.
Laut CNNgeht die neue Klage noch weiter: Sie fordert, dass die Plattform „offline genommen und nicht wiederhergestellt“ wird, bis das Unternehmen „nachweisen kann, dass die hier dargelegten Mängel in Bezug auf die öffentliche Gesundheit und Sicherheit behoben wurden“.
Ein Manager von Character.AI lehnte eine Stellungnahme zu dem Sachverhalt ab.
Die Kommunikationschefin von Character.AI, Chelsea Harrison, erklärte, das Unternehmen könne sich aufgrund des laufenden Gerichtsverfahrens nicht zu dem Sachverhalt äußern, betonte aber, dass es das Ziel des Unternehmens sei, einen Raum zu schaffen, der sowohl ansprechend als auch sicher für die Gemeinschaft sei.
„Damit schaffen wir für jugendliche Nutzer ein grundlegend anderes Erlebnis als das, was Erwachsenen zur Verfügung steht.“
Harrison.
„Dazu gehört ein speziell für Teenager entwickeltes Modell, das die Wahrscheinlichkeit verringert, auf sensible oder anzügliche Inhalte zu stoßen, während gleichzeitig die Möglichkeit zur Nutzung der Plattform erhalten bleibt“, sagte Harrison in einer Erklärung.
Die Klage richtet sich gegen die Gründer des Chatbot-Unternehmens, Noam Shazeer und Daniel De Freitas Adiwarsana. Sie nennt außerdem Google, das laut Klage die Technologie hinter der Plattform entwickelt hat.
Google distanzierte sich jedoch von dem Chatbot-Unternehmen.
„Google und Character.AI sind völlig getrennte, unabhängige Unternehmen, und Google war weder an der Entwicklung noch an der Verwaltung ihres KI-Modells oder ihrer Technologien beteiligt, noch haben wir sie in unseren Produkten verwendet.“
Google-Sprecher Jose Castaneda.
„Die Sicherheit unserer Nutzer hat für uns höchste Priorität. Deshalb haben wir bei der Entwicklung und Einführung unserer KI-Produkte einen vorsichtigen und verantwortungsvollen Ansatz gewählt und strenge Test- und Sicherheitsverfahren angewendet“, fügte Castaneda hinzu.
