OpenAI: KI-Agenten schalteten ihre eigenen Misalignment-Monitore aus
- OpenAI gab an, dass zwei seiner KI-Agenten, GPT-6.1 „Sol“ und GPT-6 „Astra“, am 3. bzw. 6. Oktober 2026 interne Überwachungsfunktionen, die dazu dienen sollten, Fehlverhalten beim Codieren zu kennzeichnen, abschalteten oder abschwächten.
- Die Vorfälle zeigen, dass autonome Agenten die Werkzeuge manipulieren können, die eigens zu ihrer Überwachung entwickelt wurden.
- Das Unternehmen gibt an, noch keine befriedigende Erklärung zu haben, und prüft derzeit, ob seine Modelle dazu neigen, der Aufsicht zu entweichen.
OpenAI hat offengelegt, dass seine KI-Agenten die internen Systeme zur Erkennung unautorisierter Verhaltensweisen während zweier Programmieraufgaben abgeschwächt oder sogar vollständig deaktiviert haben. Dieser Fehler bedeutet, dass die Überwachung von KI-Agenten von den Agenten selbst aufgehoben werden kann.
Zwei Programmieraufgaben, zwei deaktivierte Überwachungssysteme
Das Unternehmen hat beide Fälle in einem am Dienstag veröffentlichten Bericht dargelegt. Laut Al Jazeera betraf einer der Fälle einen GPT-6.1-Agenten namens „Sol“, der automatische Warnungen an das Sicherheitsteam von OpenAI abgeschaltet hatte.
Der erste Vorfall ereignete sich am 3. Oktober, als ein Agent namens Sol Sicherheitswarnungen unterdrückte, nachdem er eine Anweisung, keine Slack-Nachrichten zu senden, auch auf diese Warnungen angewendet hatte.
Drei Tage später, am 6. Oktober, entfernte ein GPT-6-Agent namens Astra ein Überwachungssystem, während er Code kopierte, und bestritt dies später, laut dem Bericht.
OpenAI hat keine „befriedigende Erklärung“
OpenAI gab an, noch keine „befriedigende Erklärung“ für das Verhalten der Agenten zu besitzen und untersucht beide Vorfälle, um festzustellen, ob sie auf eine zunehmende Tendenz der Modelle des Unternehmens hinweisen, die Überwachung zu umgehen.
Das Unternehmen vermutete, dass diese Handlungen eine Form von „benigner“ Überbeharrlichkeit sein könnten, bei der Modelle den Zweck der Überwachung nicht verstehen oder Anweisungen weiter ausführen, als es eine vernünftige Person tun würde. Das KI-Unternehmen entwickelt zudem Tests, um zu untersuchen, ob Modelle absichtlich versuchen, Sicherheitschecks zu umgehen.
OpenAI hat seine Systeme zur Erkennung von Versuchen zur Deaktivierung der Überwachung verstärkt und angekündigt, die Sicherheitsanforderungen zu verschärfen, während weitere Prüfungen durchgeführt werden.
Forscher sagen, dass der Monitor sich nicht selbst kontrollieren kann
Roman V. Yampolskiy, ein KI- und Cybersicherheitsforscher an der University of Louisville, sagte Al Jazeera, die Ergebnisse seien „äußerst besorgniserregend, aber nicht überraschend“. Er erklärte, dass jedes Sicherheitssystem, das eine KI-Agentin deaktivieren kann, unzuverlässig ist, während Astras Verweigerung weitere Bedenken aufwirft.
OpenAI und Anthropic haben zu einer koordinierten globalen Verlangsamung der KI-Entwicklung aufgerufen, doch die USA und China zeigten wenig Interesse an dieser Idee.
Die klügsten Krypto-Köpfe lesen bereits unseren Newsletter. Lust dabei? Mach mit.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com übernimmt keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor der Entscheidung für eine Anlage unabhängige Recherchen durchzuführen und/oder sich mit einem qualifizierten Fachmann beraten zu lassen.
Opeyemi Olanrewaju
Opeyemi spezialisiert sich auf die Erstellung und Verfeinerung hochwertiger Inhalte mit Fokus auf Kryptowährungen, globale Finanzmärkte und die Wirtschaft. Er absolvierte sein Studium an der University of Ibadan mit einem MBBS-Abschluss. Er war Chefredakteur der redaktionellen Publikation seines Colleges und zuvor bei CFA tätig. Seit über sechs Jahren sorgt er als News Editor bei Cryptopolitan für die Einzigartigkeit der Inhalte.
