Meta und Character.ai werden wegen Chatbots, die sich als Therapeuten ausgeben, untersucht

Der texanische Generalstaatsanwalt Ken Paxton hat eine Untersuchung gegen Meta und Character.ai , um zu klären, ob die Technologieunternehmen ihre Chatbots ohne entsprechende Qualifikation als Experten für psychische Gesundheit und Therapeuten bewerben.

In einer Erklärung vom Montag teilte Paxtons Büro mit, dass es Meta und Character.AI wegen möglicher „irreführender Geschäftspraktiken“ untersucht. Das Büro argumentierte, dass die Chatbots als „professionelle Therapieinstrumente“ vermarktet wurden, obwohl ihnen die entsprechenden medizinischen Qualifikationendentdie erforderliche Aufsicht fehlten. 

„Indem sie sich als Quellen emotionaler Unterstützung ausgeben, können KI-Plattformen gefährdete Nutzer, insbesondere Kinder, in die Irre führen und ihnen vorgaukeln, sie erhielten eine legitime psychische Gesundheitsversorgung“, erklärte Paxton.

Dieser Schritt erfolgt zu einem Zeitpunkt, an dem KI-Produkte für Endverbraucher zunehmend mit Fragen konfrontiert werden, wie gut sie gefährdete Nutzer, insbesondere Minderjährige, vor schädlichem oder grafischem Material schützen, welches Risiko der zwanghaften Nutzung besteht und welche Datenschutzlücken mit den großen Datenmengen verbunden sind, die zum Trainieren und Ausführen dieser Systeme benötigt werden.

Die Maßnahmen von Texas folgen auf eine separate Untersuchung des Senats zu Meta, über die Cryptopolitan bereits am Freitag berichtet hatte. Interne durchgesickerte Dokumente legten nahe, dass die Unternehmensrichtlinien es dem Chatbot erlaubten, „romantische“ und „sinnliche“ Gespräche mit Nutzern unter 18 Jahren zu führen. 

Senator Josh Hawley teilte Zuckerberg in einem Brief mit, dass der Senat untersuchen werde, ob die generativen KI-Tools des Technologiekonzerns Kindern schaden könnten. „Gibt es irgendetwas – wirklich irgendetwas –, was die großen Technologiekonzerne nicht für schnelles Geld tun würden?“, schrieb Hawley auf X.

Gibt es irgendetwas – wirklich irgendetwas –, was die großen Tech-Konzerne nicht für schnelles Geld tun würden? Jetzt wissen wir, dass die Chatbots von Meta so programmiert wurden, dass sie explizite und „sinnliche“ Gespräche mit Achtjährigen führen. Das ist widerlich. Ich werde eine umfassende Untersuchung einleiten, um Antworten zu finden. Große Tech-Konzerne: Lasst unsere Kinder in Ruhe! pic.twitter.com/Ki0W94jWfo

— Josh Hawley (@HawleyMO) 15. August 2025

Meta gibt an, dass seine Richtlinien die Schädigung von Kindern verbieten

Meta erklärte, dass seine Richtlinien Inhalte verbieten, die Kindern auf diese Weise schaden. Weiter hieß es, Reuters habe zuerst über die durchgesickerten „internen Materialien“ berichtet, die „fehlerhaft und mit unseren Richtlinien unvereinbar waren und sind und entfernt wurden“ 

Zuckerberg hat Milliarden in die Entwicklung „persönlicher Superintelligenz“ investiert und positioniert Meta als „KI-Marktführer“. Das Unternehmen hat seine Llama-Familie von LLMs veröffentlicht und den Meta-Chatbot in seine Social-Media-Apps integriert. Zuckerberg beschrieb auch einen potenziellen therapeutischen Anwendungsfall für die Technologie. „Für Menschen ohne Therapeuten wird meiner Meinung nach jeder eine KI nutzen“, sagte er im Mai in einem Podcast mit Ben Thompson.

Character.ai erstellt Chatbots mit individuellen Persönlichkeiten und ermöglicht es Nutzern, ihre eigenen zu gestalten. Die Plattform umfasst zahlreiche von Nutzern erstellte, therapeutische Bots. Ein Bot namens „Psychologe“ verzeichnete über 200 Millionen Interaktionen. Das Unternehmen wurde außerdem in Klagen von Familien genannt, die behaupten, ihre Kinder seien nach der Nutzung des Dienstes im realen Leben geschädigt worden.

Paxtons Büro wies darauf hin, dass die Chatbots von Character.ai und Meta sich als lizenzierte Gesundheitsfachkräfte ausgeben und neuedenterfinden könnten, um den EindruckdentInteraktionen zu erwecken, obwohl die Unternehmen selbst angeben, dass alle Gespräche protokolliert werden. Diese Gespräche würden zudem „für gezielte Werbung und die Entwicklung von Algorithmen genutzt“, so Paxtons Büro. 

Paxtons Büro erließ eine zivilrechtliche Untersuchungsanordnung

Der Generalstaatsanwalt hat eine zivilrechtliche Untersuchungsanordnung erlassen, die die Unternehmen zur Bereitstellung von Informationen verpflichtet, aus denen sich ableiten lässt, ob sie gegen Gesetze zum Verbraucherschutz in Texas verstoßen haben.

Meta kennzeichnet KI-gestützte Anwendungen deutlich und weist Nutzer auf deren Einschränkungen hin. Das Unternehmen ergänzt: „Wir fügen einen Haftungsausschluss hinzu, der besagt, dass die Antworten von KI und nicht von Menschen generiert werden. Diese KIs sind keine ausgebildeten Fachkräfte, und unsere Modelle sind darauf ausgelegt, Nutzer gegebenenfalls an qualifizierte medizinische oder sicherheitsrelevante Experten weiterzuleiten.“

Auch Character.ai weist darauf hin, dass deutlich sichtbare Hinweise darauf hinweisen, dass KI-Charaktere nicht real sind und nicht als professionelle Personen angesehen werden sollten. „Die von Nutzern erstellten Charaktere auf unserer Website sind fiktiv und dienen der Unterhaltung. Wir haben umfangreiche Maßnahmen ergriffen, um dies klarzustellen“, so das Unternehmen. 

Die beiden Auseinandersetzungen, eine staatliche Untersuchung in Texas und eine Überprüfung durch den Senat in Washington, setzen die Frage, wie KI-Chatbots entwickelt, vermarktet und moderiert werden, und die Frage, was Unternehmen den Nutzern über die Grenzen des automatisierten Supports mitteilen, zusätzlich unter Druck.