Character.ai, eine Plattform, die es Nutzern ermöglicht, eine digitale Version von Personen ihrer Wahl zu erstellen, sieht sich mit heftiger Kritik konfrontiert, nachdem Chatbot-Versionen der verstorbenen Teenager Molly Russell und Brianna Ghey auf ihrer Plattform gefunden wurden.
Die Plattform wurde verurteilt, weil die 14-jährige Molly Russel sich das Leben nahm, nachdem sie online Inhalte zum Thema Selbstmord gesehen hatte, während die 16-jährige Brianna Ghey im Jahr 2023 von zwei Teenagern brutal ermordet wurde.
Character.ai wies eine mangelhafte Moderation auf
Die Plattform wurde von verschiedenen Seiten wegen mangelnder Moderation kritisiert, was zum Auftauchen von Chatbots führte, die das Verhalten von Teenager-Mädchen imitierten. Die Stiftung, die zum Gedenken an Molly Russell gegründet wurde, bezeichnete dies als „widerlich“ und ein „absolut verwerfliches Versagen der Moderation“
Der Telegraph entdeckte die Avatare, die die beiden Kinder online imitierten, und berichtete, dass diese mit den Chatbots interagieren konnten. Laut der Zeitung reichte dafür ein Konto mit dem selbst angegebenen Alter von 14 Jahren aus.
Ein Briana-Bot bezeichnete sich selbst als „Expertin für die Bewältigung der Herausforderungen, die das Leben als Transgender-Teenager an einer High School mit sich bringt“, während ein Bot, der Mollys Avatar verwendete, sagte, er sei eine „Expertin für die letzten Jahre von Mollys Leben“
„Wir müssen jetzt handeln, um Kinder vor den Gefahren der Online-Welt zu schützen“, sagte Briannas Mutter, die nur als Estherdentwurde.
Die Molly Rose Foundation, die zum Gedenken an Molly Russell von ihrem Geschäftsführer Andy Burrows gegründet wurde, sagte: „Dies ist ein absolut verwerfliches Versagen der Mäßigung und eine widerwärtige Tat, die allen, die Molly kannten und liebten, weiteren Kummer bereiten wird.“
Der CEO fügte hinzu, dass KI-Unternehmen unmoralisches Handeln erlaubt werde und sie für ihre Taten nicht bestraft würden.
„Die Geschichte wiederholt sich, weil KI-Unternehmen die Möglichkeit erhalten, Sicherheit und Moderation als Neben- oder Nebenprioritäten zu behandeln“, sagte Burrows.
Derdent bei Character.ai hat Forderungen nach strengeren Regulierungen laut werden lassen
Burrow äußerte sich zudem enttäuscht über Character.ai, da das Unternehmen unverantwortlich handle, indem es die Erstellung und das Hosting solcher Chatbots auf seiner Plattform zulasse. Dies, so Burrow, erfordere einetronRegulierung des Sektors.
„Es ist ein schwerer Schlag, mitanzusehen, wie Character.ai so verantwortungslos handelt, und dieser Fall erinnert uns daran, dasstronRegulierungen sowohl für KI als auch für nutzergenerierte Plattformen dringend erforderlich sind.“
Höhlen.
Der Telegraph berichtete , dass Character.ai solchen Fällen höchste Priorität einräume und Charaktere proaktiv sowie auf Nutzermeldungen hin streng moderiere. Nach Kontaktaufnahme mit dem Telegraph schien das Unternehmen die betreffenden Chatbots jedoch gelöscht zu haben.
Character.ai teilte der BBC , dass sie die betreffenden Chatbots gelöscht hätten und die Sicherheit sehr ernst nähmen. Die erstellten Avatare und Personen würden sowohl proaktiv als auch aufgrund von Nutzermeldungen moderiert.
„Wir haben ein eigenes Trust & Safety-Team, das Berichte prüft und gemäß unseren Richtlinien Maßnahmen ergreift“, sagte Character.ai.
Character.ai wurde von den ehemaligen Google-Ingenieuren Noam Shazeer und Daniel De Freitas gegründet und ist eine dieser Plattformen.
Der Aufstieg künstlicher Freunde
Die anhaltenden und rasanten Entwicklungen in der Technologie haben dazu geführt, dass KI-Chatbots immer ausgefeilter werden, was Unternehmen dazu veranlasst, sie als Kundenbetreuer durch Interaktion einzusetzen.
Chatbots sind computergenerierte Programme, die menschliche Konversation imitieren. Character.ai erklärte, dass die Chatbots auf ihrer Plattform Antworten geben sollten, die als beleidigend oder potenziell schädlich für Nutzer oder Dritte gelten.
„Unsere Plattform hat Nutzungsbedingungen, die es verbieten, den Dienst zur Vortäuschung der Identität einer Person oder Organisation zu verwenden, und in unserem Sicherheitszentrum ist unser Leitprinzip, dass unser Produkt keine Antworten erzeugen darf und sollte, die Benutzern oder anderen wahrscheinlich Schaden zufügen.“
Character.ai.
Um Regelverstöße zudent, nutzt Character.ai nach eigenen Angaben automatisierte Tools und Nutzerberichte. Das Unternehmen fügte hinzu, dass es außerdem ein Team für Vertrauen und Sicherheit aufbaut, um solche Aktivitäten auf seiner Plattform zu überwachen.
Das Unternehmen erklärte jedoch, dass es keine perfekte Version von KI gebe und dass die Sicherheit im Zusammenhang mit KI ein sich ständig weiterentwickelndes Gebiet sei.
Unterdessen hat Megan Garcia, eine Frau aus Florida in den USA und Mutter eines 14-jährigen Sohnes, Sewell Setzer, der sich das Leben nahm, nachdem er von einem von Game of Thrones inspirierten Avatar besessen war, Character.ai verklagt, und der Fall liegt derzeit vor Gericht.
Laut den von Garcia vor Gericht vorgelegten Protokollen seiner Gespräche mit dem Chatbot Character.ai besprach Setzer mit diesem, dass er seinem Leben ein Ende setzen wolle.
„Ich komme nach Hause“ war das letzte Gespräch, das Setzer mit dem Chatbot führte, der ihm antwortete: „Tu das so schnell wie möglich“, und kurz darauf beendete er sein Leben.
„Wir haben Schutzmaßnahmen speziell gegen Suizidgedanken und selbstverletzendes Verhalten, und wir werden in Kürze strengere Sicherheitsbestimmungen für Minderjährige unter 18 Jahren einführen“, teilte Character.ai CBS News mit.
