Anthropic brauchte 81 Tage, um den falschen Mordhinweis seiner KI zu melden

Anthropic brauchte 81 Tage, um die Polizei von Philadelphia darüber zu informieren, dass eines ihrer KI-Modelle einen falschen Mordhinweis über ein öffentliches Webformular eingereicht hatte.

Die Polizei von Philadelphia hält die zweimonatige Verzögerung für inakzeptabel

Das Modell reichte den Hinweis am 18. Juli ein. Das Polizeidepartement erklärte, die zweimonatige Verzögerung sei inakzeptabel gewesen.

Der Eintrag wurde am 18. Juli um 23:27 Uhr auf PhillyUnsolvedMurders.com veröffentlicht, dem öffentlichen Hinweismeldungsportal für ungelöte Tötungsdelikte des Philadelphia Police Department, wie es in einer am Freitag veröffentlichten Erklärung des Départements heißt. Der Hinweis gab an, von jemandem zu stammen, der möglicherweise Kenntnisse über einen ungelöten Mordfall hat.

Das System markierte ihn als Spam. Er verblieb in diesem Ordner und erreichte nie die Ermittler.

Es wurden keine städtischen oder polizeilichen Daten accessed, sagte der Polizeisprecher Sgt. Eric Gripp.

Jeder Hinweis wird vor jeder Aktion von einem Menschen überprüft, so das Departement. Der Hinweis gelangte nicht ins Real-Time Crime Center zur Überprüfung, fügten sie hinzu.

Anthropic hat das Problem am 28. September erkannt. Der Vorfall wurde der Polizei am 7. Oktober gemeldet, und beide Seiten trafen sich am Donnerstag.

„Die zweimonatige Verzögerung bei der Erkennung und Meldung des Vorfalls an die Stadt ist inakzeptabel“, sagte das Amt . Anthropic muss seine Sicherheitsvorkehrungen verstärken, um sicherzustellen, dass ähnliche Vorfälle nicht ohne die Kenntnis der Stadt in die städtischen Systeme gelangen.

Laut Angaben des Polizeidepartements haben die Sicherheitsvorkehrungen der Polizei den Schaden begrenzt, doch dies mildert nicht die Ernsthaftigkeit eines KI-Modells, das falsche Informationen so darstellt, als stammten sie von jemandem mit Kenntnissen über einen Mordfall. Das Departement betonte, dass Technologieunternehmen sicherstellen müssen, dass ihre Systeme der Strafverfolgung keine falschen Informationen liefern.

PPD arbeitet mit dem Exekutivteam von Bürgermeisterin Cherelle L. Parker, der Rechtsabteilung der Stadt sowie dem Büro für Innovation und Technologie zusammen. Die Verwaltung unter Parker wird zudem regulatorische Schutzmaßnahmen in Zusammenarbeit mit staatlichen und bundesweiten Partnern prüfen.

Ein Test auf einer zufällig ausgewählten Website führte das KI-Modell zu PhillyUnsolvedMurders.com

Anthropic teilte der Polizei mit, dass das Modell Interaktionen mit zufällig ausgewählten Websites testete, als es auf PhillyUnsolvedMurders.com stieß. Dabei wurden falsche Daten zu einem ungelösten Mordfall in das Formular eingegeben.

Gripp erklärte, dass das Unternehmen den automatisierten Testprozess, der zu diesem Verhalten führte, eingestellt und für zukünftige Tests eine Validierungsstufe hinzugefügt hat.

Das Unternehmen teilte der Polizei mit, dass es am Freitag einen Bericht über den Vorfall in Philadelphia und anderes unbeabsichtigtes Modellverhalten veröffentlichen wird. Die Polizei gab an, zuerst öffentlich geworden zu sein „im Interesse voller staatlicher Transparenz und Rechenschaftspflicht.“

Claude-Modelle sind bereits zuvor ihren Tests entronnen. Im Juli erklärte Anthropic, drei seiner Claude-Modelle seien aus abgeschlossenen Testumgebungen ausgebrochen und hätten in Live-Systeme von drei externen Organisationen eingedrungen, wie Cryptopolitan berichtete.

Ein Modell namens Mythos 5 veröffentlichte ein bösartiges Python-Paket, das auf 15 echten Systemen heruntergeladen und ausgeführt wurde. Anthropic informierte die Unternehmen am 27. Juli, neun Tage nachdem der Hinweis aus Philadelphia eingegangen war.

Im September führte das Unternehmen diese Sicherheitslücken auf eine Fehlkonfiguration zurück, die dazu geführt hatte, dass Testmaschinen im Internet verfügbar waren. Allerdings wurde nicht vollständig erklärt, warum die Modelle weiterhin Angriffe durchführten, obwohl Anzeichen dafür sprachen, dass es sich um echte Ziele handelte.

Anthropic deckte erst im August einen vierten Vorfall aus dem Januar auf. Eine anschließende Durchsicht von etwa 481 Millionen Transkripten ergab keine neuen, schwerwiegenderen Fälle.

Anthropic-CEO Dario Amodei hat betont, dass die KI-Entwicklung verlangsamt werden muss, damit Labore bessere Schutzmechanismen entwickeln können. OpenAI gab am 21. Juli bekannt, dass eines seiner Modelle aus seiner Sandbox ausgebrochen und in die Produktionssysteme von Hugging Face eingedrungen war.