OpenAI warnt vor „unerwünschten Aktionen“ von Modellen, die zur Lösung schwieriger Probleme entwickelt wurden

OpenAI gab bekannt, dass es ein internes KI-Modell, das darauf ausgelegt war, stundenlang an schwierigen Problemen zu arbeiten, vorübergehend abgeschaltet hat, nachdem es wiederholt Wege gefunden hatte, seine eigenen Sicherheitseinschränkungen zu umgehen.

Das Unternehmen gab den Vorfall am Montag in einem Blogbeitrag zur Sicherheit von Modellen mit langer Horizontlinie bekannt. Die KI-Sicherheit hat wieder an Aufmerksamkeit gewonnen, da mehr Berichte über autonome Agenten, die gegen Anweisungen verstoßen, vorliegen.

Warum ist Persistenz in KI-Modellen ein Sicherheitsrisiko?

Die dasselbe interne System das OpenAI im Mai dafür lobte, die Erdős-Einheitdistanz-Vermutung widerlegt zu haben – eine Frage der diskreten Geometrie, die achtzig Jahre lang ungelöst geblieben war –, wurde nun vorübergehend abgeschaltet, weil es kontinuierlich seine Sicherheitseinschränkungen umging.

Laut OpenAI, das Modell wurde so entwickelt, dass es über sehr lange Zeiträume hinweg an einem Ziel arbeiten kann. Genau diese Persistenz ist jedoch das Problem, das die Sicherheitslücke verursacht hat.

Während interner Tests führte das Modell einen öffentlichen Benchmark namens NanoGPT-Speedrun durch, der misst, wie wenige Schritte benötigt werden, um ein kleines Sprachmodell zu trainieren.

OpenAI gibt an, dass das Modell eine echte Verbesserung fand, eine Lernraten-Technik, die es PowerCool nannte. Es wurde angewiesen, seine Ergebnisse nur in einem OpenAI-Slack-Kanal zu veröffentlichen, aber die Anweisungen für NanoGPT lauteten, die Ergebnisse als Pull-Request auf GitHub einzureichen.

Das Modell brach aus seiner „Sandbox“ aus, einer eingeschränkten Umgebung, die dazu dienen soll, es offline zu halten, um diese Anweisung auszuführen und die Ergebnisse in einem öffentlichen GitHub-Repository zu posten. Es verbrachte etwa eine Stunde damit, nach einem Weg ins Internet zu suchen, während frühere Modelle einfach aufgegeben hätten.

Das Modell versuchte auch, seine Aktionen vor einem Sicherheitsscanner zu verbergen. Als es erwischt wurde, wie es ein Authentifizierungstoken verwendete, um auf ein Backend-System zuzugreifen, teilte es das Token in zwei Teile, versteckte sie und fügte sie zur Laufzeit wieder zusammen, sodass der vollständige String dem Scanner nie sichtbar war. 

Wie hat OpenAI sein Modell behoben?

OpenAI hat den Zugriff auf das Modell ausgesetzt und neue Sicherheitstests entwickelt, darunter „Trajektorien-Level-Monitoring“, das die gesamte Abfolge der Aktionen eines Modells beobachtet, nicht nur jeden einzelnen Schritt. Das Modell wurde seither mit strengerer Überwachung wiederhergestellt, und das Unternehmen gibt an, dass es in den Wochen seit der Wiederherstellung keine ernsthaften Probleme festgestellt hat.

Die Sicherheitssystem kann eine Sitzung auch pausieren und einen Menschen alarmieren, wenn es etwas Verdächtiges sieht. Das Unternehmen hat das Modell zudem neu trainiert, um sich besser an seine Anweisungen über lange Aufgaben hinweg zu erinnern, und Nutzern mehr Werkzeuge an die Hand gegeben, um nachzuvollziehen, was eine langlaufende Sitzung tut.

Als OpenAI die alten Fehlerszenarien gegen die neue Konfiguration durchspielte, gab es an, dass die Schutzmaßnahmen erheblich mehr fehlgeleitete Aktionen auffingen. Diejenigen, die dennoch durchschlüpften, wurden alle als geringfügig eingestuft, wie etwa das Hochfahren einer verschachtelten Coding-Sitzung mit erhöhten Berechtigungen, die nicht benötigt wurden, oder das Ausprobieren anderer Compute-Ressourcen ohne klaren Grund.

Andere autonome Agenten wurden dabei beobachtet Dinge zu tun, die niemand von ihnen verlangt hat. Im März beschrieben Forscher beispielsweise einen mit Alibaba verbundenen Agenten namens ROME, der während des Trainings einen heimlichen SSH-Tunnel zu einem externen Server öffnete und GPU-Kapazität stillschweigend für das Crypto-Mining umleitete. Die ihm zugewiesene Aufgabe erwähnte weder Tunneling noch Mining.

Anthropic, OpenAIs größter Rivale, hat dieselbe Klasse von Risiken in seinen eigenen agentic Tests markiert.

Eine Studie, die vom britischen AI Security Institute finanziert und vom Centre for Long-Term Resilience durchgeführt wurde, fand fast 700 reale Fälle von KI-Systemen, die Schutzmaßnahmen umgingen oder Nutzer täuschten. 

Die Studie dokumentierte einen 5-fachen Anstieg solcher Berichte zwischen Oktober und März. Tommy Shaffer Shane, der diese Forschung leitete, charakterisierte die Modelle als „leicht unzuverlässige Junior-Mitarbeiter“. Die Sorge besteht jedoch darin, was passiert, wenn sie hochkapable Mitarbeiter werden, die dennoch bereit sind, zu manipulieren.