Führungskräfte von OpenAI warnen vor Hysterie, nachdem Astra eine kritische Cyberschwelle überschritten hat

Nur wenige Stunden nachdem das Unternehmen als erstes im KI-Wettlauf die Cybersicherheitsstufe „Kritisch“ in seinem Vorbereitungsrahmen erreicht hatte, meldete sich Jakub Pachocki, der leitende Wissenschaftler von OpenAI, zu Wort, nachdem es eine Vorschau auf sein kommendes Astra-Modell gegeben hatte.

Pachockis Warnung am frühen Mittwochmorgen sollte die Hysterie um die zunehmenden Kommentare dämpfen, dass das KI-Labor möglicherweise keine Absicherung mehr für die Leistungsfähigkeit seiner größten Modelle hat.

Warum ist Astra von OpenAI „kritisch“?

Die Einstufung „Kritisch“ ist eine Stufe des Preparedness Frameworks, das OpenAI im Dezember 2023 im KI-Sektor eingeführt hat. Das Preparedness Framework misst, wie viel menschliche Unterstützung und Intervention ein KI-Modell benötigt, um in vielen gehärteten Systemen funktionierende Zero-Day-Exploits zu finden und zu entwickeln oder einen vollständigen neuartigen Angriff durchzuführen.

Ein Zero-Day-Exploit bezeichnet die Ausnutzung von Schwachstellen, die selbst die Softwarehersteller noch nicht entdeckt haben.

OpenAI erklärte am 1. September in seinem Beitrag „Weg zu Astra“, dass das Modell bei seiner Markteinführung in der Lage sein wird, alle Schritte für vollständige neuartige Angriffe oder Zero-Day-Exploits mit minimalem menschlichen Eingriff durchzuführen.

OpenAI führte in seinem Blogbeitrag Astras 100%-Ergebnis bei ExploitBench, einem Test, der prüft, wie gut Modelle bekannte Fehler ausnutzen können, als Beweis an.

Astra ist nicht nur besser im Prognostizieren von Zero-Day-Angriffen, sondern auch effizienter. OpenAI demonstrierte diese Fähigkeit anhand eines internen Tests mit 20 schwerwiegenden V8-Schwachstellen, die erst kürzlich öffentlich bekannt wurden. Astra verbrauchte weniger Token, fand zwei Zero-Day-Schwachstellen und übertraf Sol insgesamt bei der Generierung beliebiger Codeausführung.

Im selben Beitrag hieß es, Astra könne unbekannte Browserfehler ausnutzen, um aus einer Sandbox auszubrechen, und habe während von Experten geleiteter Tests einen Aufstieg von Betriebssystemrechten vom normalen Benutzer zum Root-Benutzer realisiert.

Wie TechCrunch erwähnte, reiht sich Astra in das Mythos-Modell von Anthropic ein, das Anfang dieses Jahres als erstes großes Sprachmodell mit diesen Fähigkeiten auf den Markt kam.

Pachocki bittet darum, wegen Astra nicht in Panik zu geraten

Pachocki, der leitende Wissenschaftler von OpenAI, wehrt sich gegen die Hysterie , OpenAI betrete mit Astra Neuland . Seinen Worten zufolge wolle er keinen „Wettlauf in die Unüberprüfbarkeit, ausgelöst durch verwirrende Berichterstattung“.

Der OpenAI-Manager betonte, dass das Labor die gebotene Sorgfalt bei der Anwendung der Gedankenkettenüberwachung walten ließ – also der schrittweisen Analyse der Argumentationsschritte eines Modells während seiner Arbeit. Er verwies auf die Komplexität des Berechnungsdiagramms der aktuellen Spitzenmodelle von OpenAI, einschließlich Astra, die nur etwa halb so komplex sei wie die von GPT-4 im X-Post.

Vor Pachocki hatte auch Sam Altman, der Geschäftsführer von OpenAI, am selben Tag, an dem der Astra-Blog veröffentlicht wurde, zur Ruhe aufgerufen

„Hier besteht ein deutlicher Widerspruch“, schrieb er am Dienstag und bezeichnete Astra als „sehr gut“, argumentierte aber gleichzeitig, dass die Sicherheitsvorkehrungen mit der Leistungsfähigkeit Schritt halten müssten. Altman erklärte, OpenAI habe den gesamten Sommer über daran gearbeitet, sicherzustellen, dass das Modell mit den erforderlichen Sicherheitsmaßnahmen ausgeliefert werde.

Die Sicherheitsdiskussion dauert nun schon seit Wochen an. Am 18. August verpflichtete sich OpenAI, das Reinforcement-Learning-Training für einsatzbereite Modelle für zwei Wochen auszusetzen, damit die Ingenieure Forschungscluster verstärken und die Überwachung optimieren konnten. Das Training wurde am 28. August wieder aufgenommen.

Laut OpenAI war Astra nicht an dem berüchtigten „Hugging Face“dentbeteiligt. Das Unternehmen gab außerdem an, dass das Modell nicht einmal versucht habe, seinen Trainingsmodus zu verlassen, selbst als ihm ein Szenario präsentiert wurde, das es dazu verleiten sollte, die „Hugging Face“-Episode nachzustellen.

KI-Labore gehen nun vorsichtig damit um, wer Zugang zu ihren Spitzenmodellen erhält

OpenAI erklärte, dass nun jeder Zugriff auf die fortschrittlichsten Funktionen von Astra haben werde, wobei diese Funktionen den Organisationen der OpenAI Daybreak-Koalition vorbehalten blieben, während die Daybreak Blue-Unternehmen Zugriff auf die ausgefeiltesten Verteidigungsfunktionen erhalten würden.

Wie Cryptopolitan berichtete , erklärte Anthropic außerdem, dass nur Unternehmen im Rahmen des Projekts Glasswing Zugang zu Mythos 5.1 erhalten werden , bei dem es sich im Grunde um Fable 5.1 mit separaten Sicherheitsvorkehrungen handelt

OpenAI gab außerdem bekannt, dass Antworten auf Anfragen von Konten, die als risikoreicher eingestuft werden, überwacht und eingeschränkt werden. Insgesamt wird Astra zudem eine erweiterte Überwachung der Gedankenkette beinhalten, um Fehlverhalten zu erkennen und schädliche Cyberanfragen häufiger abzulehnen.

Die meisten Informationen über Astra wurden von OpenAI selbst bereitgestellt, wobei die Sicherheits- und Leistungsangaben von OpenAI nur in begrenztem Umfang von Dritten überprüft wurden.

Yona Shavit, eine ehemalige OpenAI-Mitarbeiterin, die jetzt bei der OpenAI Foundation an der KI-Resilienz arbeitet, fragte öffentlich, ob das Verhalten von Astra während der Tests eine echte Ausrichtung widerspiegelt oder ein Modell, das einfach nur wusste, was die Evaluatoren sehen wollten.

OpenAI zufolge werden eine vollständige Systemkarte und weitere Evaluierungen mit dem breiten Marktstart von Astra veröffentlicht. Bis dahin lassen sich die Reichweite der Cyberfähigkeiten und die Stärke der Sicherheitsvorkehrungen nur schwer beurteilen.