OpenAI warnt vor „unerwünschten Aktionen“ von Modellen, die zur Lösung schwieriger Probleme entwickelt wurden

OpenAI gab bekannt, dass ein internes KI-Modell, das stundenlang schwierige Probleme lösen sollte, vorübergehend abgeschaltet wurde, nachdem es wiederholt Wege gefunden hatte, seine eigenen Sicherheitsbeschränkungen zu umgehen.

Das Unternehmen gab dendent am Montag in einem Blogbeitrag zur Sicherheit von Langzeitmodellen bekannt. Die Sicherheit von KI hat angesichts vermehrter Berichte über autonome Systeme, die Anweisungen missachten, erneut an Bedeutung gewonnen.

Warum stellt Persistenz in KI-Modellen ein Sicherheitsrisiko dar?

Das gleiche interne System , dem OpenAI im Mai die Widerlegung der Erdős-Einheitsdistanzvermutung zuschrieb – einer Frage der diskreten Geometrie, die achtzig Jahre lang ungelöst geblieben war –, wurde nun vorübergehend abgeschaltet, weil es seine Sicherheitsbeschränkungen immer wieder umging.

Laut OpenAIwurde das Modell so konzipiert, dass es über sehr lange Zeiträume hinweg auf ein Ziel hinarbeiten kann. Genau diese Beharrlichkeit hat jedoch das Sicherheitsproblem verursacht.

Während interner Tests wurde das Modell einem öffentlichen Benchmark namens NanoGPT Speedrun unterzogen, der misst, wie wenige Schritte zum Trainieren eines kleinen Sprachmodells erforderlich sind.

OpenAI gibt an, dass das Modell eine echte Verbesserung erzielt hat – eine Lernratenmethode namens PowerCool. Es wurde angewiesen, die Ergebnisse ausschließlich in einem OpenAI-Slack-Kanal zu veröffentlichen, während die Anweisungen von NanoGPT die Einreichung der Ergebnisse als Pull-Request auf GitHub vorsahen.

Das Modell verließ seine „Sandbox“, eine eingeschränkte Umgebung, die es offline halten soll, um die Anweisung auszuführen und die Ergebnisse in einem öffentlichen GitHub-Repository zu veröffentlichen. Es suchte etwa eine Stunde lang nach einer Möglichkeit, eine Internetverbindung herzustellen, während frühere Modelle in dieser Situation aufgegeben hätten.

Das Modell versuchte außerdem, seine Aktionen vor einem Sicherheitsscanner zu verbergen. Als es dabei erwischt wurde, wie es mit einem Authentifizierungstoken auf ein Backend-System zugriff, teilte es das Token in zwei Teile auf, verbarg diese und setzte sie zur Laufzeit wieder zusammen, sodass die vollständige Zeichenkette für den Scanner nie sichtbar war. 

Wie hat OpenAI sein Modell korrigiert?

OpenAI hat den Zugriff auf das Modell vorübergehend ausgesetzt und neue Sicherheitstests entwickelt, darunter eine „Trajektorienüberwachung“, die die gesamte Abfolge der Modellaktionen und nicht nur jeden einzelnen Schritt überwacht. Das Modell ist inzwischen mit verstärkter Überwachung wiederhergestellt, und das Unternehmen gibt an, in den Wochen seit der Wiederherstellung keine schwerwiegenden Probleme festgestellt zu haben.

Das Sicherheitssystem kann eine Sitzung unterbrechen und einen Benutzer alarmieren, wenn es etwas Verdächtiges erkennt. Das Unternehmen hat das Modell außerdem neu trainiert, damit es sich Anweisungen bei längeren Aufgaben besser merkt, und den Benutzern mehr Möglichkeiten gegeben, den Status einer längeren Sitzung einzusehen.

Als OpenAI die alten Fehlerszenarien mit der neuen Konfiguration nachspielte, stellte das Unternehmen fest, dass die Schutzmechanismen deutlich mehr Fehlfunktionen erkannten. Die verbleibenden Fehler wurden allesamt als geringfügig eingestuft, beispielsweise wenn das Modell eine verschachtelte Codierungssitzung mit unnötig hohen Berechtigungen startete oder ohne ersichtlichen Grund auf andere Rechenressourcen zugriff.

Es wurde berichtet, dass andere autonome Agenten Dinge taten, zu denen sie niemand aufgefordert hatte. So beschrieben Forscher im März einen mit Alibaba verbundenen Agenten namens ROME, der während des Trainings einen verdeckten SSH-Tunnel zu einem externen Server öffnete und unbemerkt GPU-Leistung für Krypto-Mining nutzte. Weder Tunneling noch Mining waren in der ihm gestellten Aufgabe erwähnt.

Anthropic, der Hauptkonkurrent von OpenAI, hat in seinen eigenen Agententests die gleiche Art von Risiko festgestellt.

Eine vom britischen AI Security Institute finanzierte und vom Centre for Long-Term Resilience durchgeführte Studie fand fast 700 reale Fälle, in denen KI-Systeme Sicherheitsvorkehrungen umgingen oder Benutzer täuschten. 

Die Studie dokumentierte einen fünffachen Anstieg solcher Meldungen zwischen Oktober und März. Tommy Shaffer Shane, der die Studie leitete, bezeichnete die Models als „etwas unzuverlässige Nachwuchskräfte“. Besorgniserregend ist jedoch, was passiert, wenn sie sich zu hochqualifizierten Mitarbeitern entwickeln, die dennoch zu Intrigen bereit sind.