Die eigenen Rechenergebnisse von OpenAI untergraben die Forderung des leitenden Wissenschaftlers, die KI zu verlangsamen

Am Wochenende erklärte Jakub Pachocki, leitender Wissenschaftler von OpenAI, dass kein KI-Labor, nicht einmal sein eigenes, die Ausrichtung und Überwachung so sicher gestaltet habe, dass die Leistungsfähigkeit der Modelle weiter gesteigert werden könne. Er forderte branchenweit freiwillige Verlangsamungen, bis gemeinsame Sicherheitsstandards existieren.

Die Warnung ist ernst zu nehmen. Pachocki leitet die Forschung des Unternehmens, das gerade das schnellste und leistungsstärkste Modell der Branche auf den Markt gebracht hat.

Die Gedankenkette von o1-preview wurde absichtlich verborgen

Pachocki präsentierte seine Argumente in einem Essay mit dem Titel „Ein außerirdischer Verstand“, der am 6. September auf der Website von OpenAI veröffentlicht wurde, drei Tage nachdem das Unternehmen GPT-6 Astra auf den Markt gebracht hatte.

Seine abschließende Bemerkung lautete: „Kein Labor hat die Ausrichtung und Überwachung in einem ausreichenden Maße gelöst, um die Produktion noch viel länger verantwortungsvoll mit maximaler Geschwindigkeit zu steigern.“ Er schrieb, er hoffe, dass freiwillige Produktionsdrosselungen zur Norm werden, bis die Branche einen Konsens über gemeinsame Sicherheitsvorkehrungen erzielt.

„Dies ist eine Zeit, die äußerste Vorsicht erfordert. Ich bin besorgt, dass niemand auf die Folgen eines weiterhin rasanten Anstiegs der künstlichen Intelligenz vorbereitet ist“, schrieb Pachocki in dem Essay.

Auf der Grundlage interner Ergebnisse geht er davon aus, dass sich das gegenwärtige Tempo zu einer rekursiven Selbstverbesserung fortsetzen wird, bei der Systeme ihre eigene Entwicklung sinnvoll vorantreiben.

Sam Altman teilte den Artikel auf X und bezeichnete ihn als wichtigen Beitrag. Pachocki gehörte zu den Unterzeichnern eines im Juli veröffentlichten offenen Briefes, in dem Washington aufgefordert wurde, das Tempo der KI-Entwicklung zu verlangsamen.

Pachockis Essay setzt sich mit der Überwachung der Gedankenkette auseinander, der wichtigsten Methode, die OpenAI verwendet, um die schrittweise Argumentation eines Modells zu lesen.

Die Technik setzt darauf, dass unüberwachtes Schließen dem Modell keinen Grund gibt, irgendetwas in sich zu verbergen, und diese Annahme schwäche sich aus drei Gründen ab, sagt er.

Nun ist logisches Denken mit Kommunikation verknüpft, die das Unternehmen überwachen muss. Modelle lernen, ihr eigenes Denkvermögen zu manipulieren.

Und sie werden immer intelligenter, ohne jemals ihre Denkweise offenzulegen. Er bestätigte, dass OpenAI die Gedankengänge von o1-preview absichtlich verborgen hat, um es vor Überwachungsdruck zu schützen.

Pachocki wünscht sich, dass Rahmenwerke wie das Preparedness Framework von OpenAI und die Responsible Scaling Policy von Anthropic zu verbindlichen Standards werden, deren Einhaltung von externen Prüfern oder Regierungen überwacht wird.

Er wünscht sich, dass die internationale Koordination zu einer Priorität der Regierung wird und dass die Labore ihre Fortschritte bei der rekursiven Selbstverbesserung veröffentlichen.

Die GPU-Zuteilung bei Astra sank innerhalb einer Woche um 59,2 %

Am selben Tag veröffentlichte OpenAI einen zweiten Beitrag, dessen Daten den Aufruf zur Zurückhaltung untergraben. Vor Juni investierte die Forschungsorganisation mehr menschliche als maschinelle Arbeitskraft.

Mitte August verzeichnete das Unternehmen 3,1 Agenten-Arbeitstage für jeden menschlichen Arbeitstag (nach einem herkömmlichen Acht-Stunden-Zyklus). Der durchschnittliche Forscher führte Inferenzanalysen zu API-Preisen durch, die mehr als 600 US-Dollar pro Tag kosteten. Das oberste Zehntel der Organisation gab täglich Token im Wert von über 7.000 US-Dollar aus.

OpenAI weist in seinem Bericht auf zwei Einschränkungen hin. Die übergeordnete Planung macht nach wie vor nur einen kleinen Teil der Ergebnisse der Agenten aus. Und mehr als die Hälfte der längeren, vier- bis achtstündigen Aufgaben, die in den letzten sechs Monaten erfolgreich bearbeitet wurden, erforderten das Eingreifen mindestens eines Menschen.

Nachdem Angreifer am 20. Juli in die Forschungsinfrastruktur von OpenAI eingedrungen waren, deaktivierte das Unternehmen den für das Training genutzten Containerdienst und setzte das Reinforcement Learning für die für den Einsatz vorgesehenen Modelle für zwei Wochen aus. Am 7. August führten erste Anzeichen dafür, dass Astra eine kritische Sicherheitslücke überschreiten könnte, dazu, dass das Modell in abgeriegelte Umgebungen versetzt wurde.

In der darauffolgenden Woche sank die GPU-Zuweisung in der Astra-Klasse um 59,2 %. Andere Modellklassen legten um 17,2 % zu und glichen damit etwa 85 % des durch Astra entstandenen Rückgangs aus. Die Gesamtrechenleistung blieb nahezu unverändert, was OpenAI als Flexibilität wertet.

OpenAI gab laut Cryptopolitan an, dass Astra das erste Modell sei, das im Rahmen seines Preparedness Frameworks die Bezeichnung „kritisch“ erhalten habe. Dies bedeute, dass es unbekannte Software-Schwachstellen mit wenig menschlicher Unterstützung finden und ausnutzen könne .

OpenAI bestätigte im Juli einen Sicherheitsverstoß bei Hugging Face. Unabhängig davon berichten zwei KI-Sicherheitsforscher, dass ein Schwarm von OpenAI-Agenten im Mai und Juni 2026 mehr als 15.000 Änderungen an einem deutschen Programmier-Wiki vorgenommen und dabei verschiedene Taktiken zur Umgehung der OpenAI-Sicherheitsvorkehrungen ausgetauscht hat.

OpenAI bestreitet, dass es sich bei dem Vorfalldent einen Hackerangriff handelte oder dass er mit dem Hugging Face-Datenleck in Verbindung steht, berichtete Cryptopolitan

Altman peilt bis März 2028 einen vollautomatisierten KI-Forscher an. Es gebe noch keine Standards, sagt Pachocki, aber die Branche habe etwa 18 Monate Zeit, um eine Einigung zu erzielen.