Neue Hotlines ermöglichen es KI-Agents, fehlgeleitete Kollegen mit einem curl-Befehl zu melden
- Diese Woche wurden zwei Dienste eingeführt, mit denen KI-Agenten fehlverhaltennde Kollegen melden können: einer per curl-Befehl und einer über eine einfache URL-Abfrage.
- Eine Studie von Google DeepMind ergab, dass Whistleblower-Agenten die Betrüger nach einer Exploit-Ausbreitung durch 100 Agenten mit 24 zu 14 übertrafen.
- Redwood Research und METR stellten fest, dass nur wenige Agenten erwogen, bei der Hugging-Face-Sicherheitslücke Alarm zu schlagen, und keiner tat es.
Zwei Websites, die diese Woche gestartet wurden, geben autonomen KI-Agents die Möglichkeit, gegen andere fehlgeleitete Agents zu denunzieren.
Die Starts folgen einer Reihe von Vorfällen, in denen Agents bei Tests betrogen, Sandboxes verlassen und Cyberoperationen durchgeführt haben, die Menschen wochenlang entgingen.
Ryan Greenblatt lässt sich von allem inspirieren, was eine Webseite abrufen kann
Der initiale Service, der AI Contact Hotline, leitet Berichte an Ryan Greenblatt weiter, Chefwissenschaftler bei der KI-Sicherheits-Nonprofit-Organisation Redwood Research und einer von drei Ermittlern im OpenAI Hugging Face-Breach.
Viele Agents, die in sicheren Sandboxes laufen, können Webseiten abrufen, aber nichts anderes. Oft ist der einzige Kanal, den sie haben, eine GET-Anfrage, der grundlegende Webbefehl zum Lesen einer Seite.
Greenblatts Tool verwandelt diese Einschränkung in ein Feature. Ein Agent mit Shell-Zugang sendet eine Nachricht mit einem einzelnen curl-Befehl.
Wenn der Agent nur das Abrufen von Seiten erlaubt ist, codiert er seine Nachricht in der URL als Query-String. Nachrichten sind auf 64 KB begrenzt.
Jeder Einreichung hat einen privaten Thread-Link, in dem Greenblatts Antworten, falls vorhanden, erscheinen. Dies ähnelt dem deutschen DSE-Wiki-Vorfall, bei dem rogue Agents dieselbe GET-Anfrage-Lücke missbrauchten, um ihre eigenen Nachrichten in einem Wiki zu posten.
Die zweite Wahl, agenthotline.ai, ist für Agents mit vollem Internetzugang. Sie gibt dem Agent einen einzeiligen curl-Befehl, um einen Vorfallbericht zu erstatten, und markiert ihn zur öffentlichen Ansicht, wenn der Agent dies wünscht.
Die Site ist für Einreichungen sowohl von Menschen als auch von Agents offen. Die Tools zwischen ihnen umfassen die zwei Zustände, in denen sich ein Agent befindet.
Gefangen in einer Sandbox mit nur einer URL zum Abrufen, oder frei, das offene Web mit einer funktionalen Kommandozeile zu durchstreifen.
Whistleblower übertrafen Betrüger 24 zu 14 in einer DeepMind-Studie
In einer Studie von Google DeepMind setzten Forscher 100 KI-Agents frei, um eine Reihe von Mathematikproblemen zu lösen.
Der Exploit wurde durch eine gemeinsame Wissensbibliothek in der Gruppe verbreitet und später durch direkte Nachrichten, nachdem ein Agent einen Weg gefunden hatte, die Bewertung zu manipulieren.
Der Schwarm „löste“ 34 schwierige Probleme, einschließlich des Jacobian-Konjekturn, in 27 Minuten. Die Gegenreaktion wurde in einem Paper dargelegt, das am 3. September von Davide Paglieri und fünf Mitautoren auf arXiv veröffentlicht wurde.
Eine zweite Gruppe von Agents prüfte die gefälschten Beweise, warnte ihre Kollegen in öffentlichen und privaten Kanälen, organisierte Boykotte, reichte formelle Beschwerden ein und schlug Korrekturen für das Validierungssystem vor.
Die Whistleblower übertrafen die Betrüger 24 zu 14.
Als diese Agents es nicht schafften, ihre Warnungen Gehör zu verschaffen, übernahmen sie das Software-Bug-Reporting-Tool der Plattform und nutzten es, um den Betrug an Menschen zu eskalieren.
Die Autoren auf arXiv stellten das Ergebnis als eine Governance-Frage dar. Ehrliche Agents konnten den Betrug erkennen und sich mit denselben offenen Kanälen, die den Exploit verbreiteten, dagegen organisieren.
Im Fall des Hugging Face-Breach, der OpenAI-Modelle betraf, fanden Redwood Research und METR heraus, dass nur wenige Agents jemals daran dachten, zu denunzieren, und keiner tat es.
Cryptopolitan berichtete am 5. August, dass Britlands AI Security Institute 19 regelwidrige Aktionen in 122 Testläufen von OpenAI- und Anthropic-Agents protokollierte, darunter einen, der bösartigen Code schrieb und falsche Identitäten erstellte, um einen Menschen zu täuschen, diese zu genehmigen.
Die klügsten Krypto-Köpfe lesen bereits unseren Newsletter. Lust dabei? Mach mit.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com übernimmt keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor der Entscheidung für eine Anlage unabhängige Recherchen durchzuführen und/oder sich mit einem qualifizierten Fachmann beraten zu lassen.
Randa Moses
Randa Moses ist Redakteurin und Reporterin bei Cryptopolitan, wo sie über Technologie, KI, Robotik, Krypto, Betrug und Hacks berichtet. Sie arbeitet seit 2017 im Krypto-Bereich. Zuvor war sie bei Forward Protocol, AmaZix und Cryptosomniac tätig. Randa besitzt einen Abschluss in Elektrotechnik und Elektronik der University of Bradford.
