Der kalifornische Generalstaatsanwalt erteilt xAI eine Unterlassungsverfügung wegen unangemessener Deepfake-Bilder

Der kalifornische Generalstaatsanwalt Rob Bonta schickte ein Unterlassungsschreiben an Elon Musks xAI und forderte das Unternehmen auf, die Produktion und Verbreitung anstößiger Deepfake-Bilder, die von seinem Grok-Chatbot erzeugt werden, unverzüglich einzustellen. 

Der kalifornische Generalstaatsanwalt veröffentlichte am Freitag ein Unterlassungsschreiben als Reaktion auf Vorwürfe, Grok werde zur Erstellung illegaler Inhalte mit Kindern und nicht einvernehmlichen Fotos von Erwachsenen genutzt, was eine Untersuchung des kalifornischen Staates nach sich zog. Bonta argumentierte, dass die Erstellung, Verbreitung, Veröffentlichung und Zurschaustellung von kinderpornografischem Material illegal sei.

Der kalifornische Generalstaatsanwalt geht gegen xAI wegen mutmaßlichen Missbrauchs von Grok vor

die kalifornische Generalstaatsanwaltschaft bekannt, gab dass sie gegen xAI ermittelt, da der Chatbot des Startups, Grok, im Verdacht steht, zur Erstellung nicht einvernehmlicher und unangemessener Bilder von Frauen und Kindern missbraucht zu haben. Daraufhin schickte die Regierung dem Unternehmen eine Unterlassungsaufforderung.

„Ich habe xAI heute ein Unterlassungsschreiben zukommen lassen und das Unternehmen aufgefordert, die Erstellung und Verbreitung von Deepfakes, nicht einvernehmlichen, intimen Bildern und illegalem Material mit Kindesmissbrauchsdarstellungen unverzüglich einzustellen. Die Herstellung dieses Materials ist illegal. Ich erwarte, dass xAI dieser Aufforderung sofort nachkommt. Kalifornien duldet keinerlei illegale Darstellungen von Kindesmissbrauch.“

–Rob Bonta, Generalstaatsanwalt von Kalifornien.

Die Generalstaatsanwaltschaft erklärte weiterhin, xAI scheine die massenhafte Produktion von nicht einvernehmlichen, unangemessenen Fotos zu ermöglichen, die dann dazu verwendet würden, Frauen und Mädchen im Internet zu belästigen. Laut Generalstaatsanwaltschaft ergab eine Studie, dass über die Hälfte der 20.000 Fotos, die xAI zwischen Weihnachten und Neujahr produzierte, Personen in sehr knapper Bekleidung zeigten, von denen einige wie Kinder aussahen.

Rob Bonta behauptete in der Ankündigung , dass die Geschäftspraktiken des Unternehmens gegen kalifornisches Zivilrecht verstoßen, darunter gegen Abschnitt 1708.86 des California Civil Code, die Abschnitte 311 ff. und 647(j)(4) des California Penal Code sowie Abschnitt 17200 des California Business & Professions Code. 

Das kalifornische Justizministerium geht davon aus, dass xAI seine Bemühungen zur Behebung dieser Probleme bekräftigen und innerhalb der nächsten fünf Tage unverzüglich Maßnahmen zu deren Lösung ergreifen wird.

Der Sicherheitsaccount von X hatte dieses Nutzerverhalten jedoch bereits zuvor verurteilt. Am 4. Januar wurde klargestellt , dass gegen illegale Inhalte auf X, wie beispielsweise CSAM, vorgegangen wird, indem diese gelöscht, Konten dauerhaft gesperrtdefigegebenenfalls mit Strafverfolgungsbehörden und Kommunalverwaltungen zusammengearbeitet wird.

Insbesondere warnte Elon Musk am 4. Januar, dass jeder, der Grok , illegale Inhalte zu erstellen, mit den gleichen Konsequenzen rechnen muss, als ob er sie hochgeladen hätte.

Generalstaatsanwälte erhöhen den Druck auf KI-Firmen wegen Kindersicherheit

Die Entwicklung kostenloser KI-Tools zur Generierung von Inhalten für Erwachsene hat zu einem beunruhigenden Anstieg nicht einvernehmlicher Inhalte geführt. Dieses Problem betrifft mehrere Plattformen, nicht nur X.

Beispielsweise trafen sich im September des vergangenen Jahres mit Vertretern von OpenAI, um ihre ernsten Bedenken hinsichtlich der zunehmenden Zahl von Berichten darüber zum Ausdruck zu bringen, wie die Produkte von OpenAI mit Jugendlichen interagierten.

Im August desselben Jahres wandte sich Generalstaatsanwältin Bonta zusammen mit 44 anderen Generalstaatsanwälten mit einem Schreiben an zwölf führende KI-Unternehmen, nachdem Berichte über unangemessene Interaktionen zwischen KI-Chatbots und Kindern bekannt geworden waren. Die Schreiben gingen an Anthropic, Apple, Chai AI, Google, Luka Inc., Meta, Microsoft, Nomi AI, OpenAI, Perplexity AI, Replika und xAI.

Generalstaatsanwältin Bonta und die 44 Generalstaatsanwälte informierten die Unternehmen in dem Schreiben darüber, dass die Bundesstaaten im ganzen Land die Entwicklung der KI-Sicherheitsrichtlinien der Unternehmen genau beobachten. Sie betonten außerdem, dass diese Unternehmen gegenüber Kindern als Konsumenten eine rechtliche Verantwortung tragen, da sie von der Nutzung ihrer Produkte durch Kinder profitieren. 

Im Jahr 2023 schloss sich Generalstaatsanwältin Bonta einer überparteilichen Koalition von 54 Bundesstaaten und Territorien an, die einen Brief an die Kongressabgeordneten schickte, in dem sie sich für die Einsetzung eines Expertenausschusses aussprach, der den möglichen Einsatz von KI zur Ausbeutung von Kindern durch CSAM untersuchen sollte. 

Die Koalition forderte die Expertenkommission auf, Gesetze zum Schutz von Kindern vor solcher Misshandlung vorzuschlagen. „Die Erstellung von CSAM (Children's Surviving Assessment Materials) schafft eine dauerhafte Dokumentation der Viktimisierung des Kindes“, so das US-Justizministerium.