Wie drei Claude-Chats innerhalb von sieben Wochen die Polizei erreichten

Vom 11. August bis zum 30. September führten drei Gespräche mit Anthropics Claude zur Einschaltung der Polizei. Zwei dieser Nutzer stehen derzeit wegen schwerwiegender Straftaten (Felony) unter Anklage.

Der dritte Täter, ein Mann aus San Francisco, der angeblich CEO Dario Amodei bedrohte, wurde nicht festgenommen.

Festnahme in San Antonio und AR-15-Bedrohung gegen Amodei im August bekannt

Das erste Chat-Gespräch fand am 11. August in San Antonio statt. Nathaniel Michael Carrasco, 22, sagte gegenüber Anthropic AI, er wolle eine Waffe kaufen und Schüler an der Serna Elementary School erschießen, laut einem Haftbefehl .

Die Abteilung „National Threat Operations“ des FBI informierte am 28. August die lokale Polizei. Die Beamten verknüpften Carrasco mit dem Konto über Notfall-Auskunftsersuchen an T-Mobile, Charter Communications und Google, die seine Telefonnummer, den IP-Verkehr und die Adresse mit dem Konto abgleichen konnten.

Carrasco wurde am 30. August festgenommen, wie die Schulleiterin mitteilte, aufgrund eines Verdachts auf Terroristische Drohung in dritter Stufe, die öffentliche Angst vor schweren Körperverletzungen hervorrief. Die Schule habe die spezifische Drohung gegen ihr Campus erst durch Medienberichte erfahren, sagte sie.

Drei Tage nach dem Chat in San Amton, am 14. August, behauptete ein Mann angeblich gegenüber Claude, er habe eine AR-15 gekauft und Amodei „im Visier“, according to a San Francisco police report. Am darauffolgenden Dienstag informierte Anthropic die SFPD.

Die Beamten stellten fest, dass sich der Mann nicht im Büro des Unternehmens in der Howard Street 500 befand.

Ein Sprecher von Anthropic erklärte, das Unternehmen habe den Account gesperrt und den Fall an die Strafverfolgungsbehörden weitergeleitet. Dies zeige, dass die Schutzmechanismen wie vorgesehen funktionierten. Bis Anfang September war er weder verhaftet noch angeklagt.

Das Review-Team von Anthropic sendete am 26. September Nachrichten an die Sheriffs im Lee County

Anthropics Datenschutzrichtlinie, die am 10. September in Kraft trat, sieht vor, dass Daten mit Strafverfolgungsbehörden geteilt werden können, wenn das Unternehmen in gutem Glauben annimmt, dass dies zur Verhinderung schwerwiegender Schäden angemessen notwendig ist. In den Consumer-Terms wird sich das Recht vorbehalten, Eingaben, Ausgaben oder Aktionen eines Nutzers nach eigenem Ermessen an die Strafverfolgungsbehörden zu melden.

Der Festnahmebericht besagt, dass Carli Michelle Heller aus Bonita Springs, Florida, am 26. September schrieb, sie werde das Lee County Sheriff’s Office „zuschießen“. Ermittler sagen, sie habe am nächsten Tag geschrieben, sie habe eine neue Waffe beschafft.

Laut dem Bericht wurden die Aussagen durch Anthropics Monitoring erkannt. Ein menschliches Review-Team hat sie aufgrund ihrer Schwere an die Strafverfolgungsbehörden weitergeleitet.

Die Beamten nahmen Heller ohne Zwischenfälle in ihrem Zuhause fest. Sie steht wegen des Verdachts auf, eine schriftliche Gewaltandrohung gemacht zu haben, und hat einen Gerichtstermin im November. Sheriff Carmine Marceno sagte, sie habe später beschrieben, KI wie ein Tagebuch genutzt zu haben.

„Künstliche Intelligenz ist ein mächtiges Werkzeug, und wie jede Technologie kann sie missbraucht werden“, so Marceno in einer Erklärung.

Im April berichtete Cryptopolitan, dass Anthropic für einige Funktionen eine amtliche Identitätskarte und ein Live-Selfie verlangt.

Im August berichtete Cryptopolitan, dass das Unternehmen den Speicher von Claude so eingestellt hat, dass Themen wie Gesundheit, Politik und geschlechtliche Identität übersprungen werden, es sei denn, Nutzer stimmen explizit zu.