OpenAIs eigene Berechnungsdaten untergraben den Aufruf seines Chefwissenschaftlers, die KI-Entwicklung zu verlangsamen

An diesem Wochenende sagte OpenAIs Chefwissenschaftler Jakub Pachocki, dass kein KI-Labor, nicht einmal sein eigenes, die Ausrichtung und Überwachung sicher genug gemacht habe, um die Geschwindigkeit der Modellfähigkeiten weiter zu erhöhen. Er forderte freiwillige Verlangsamungen in der gesamten Branche, bis gemeinsame Sicherheitsstandards existieren.

Die Warnung ist ernst zu nehmen. Pachocki leitet die Forschung im Unternehmen, das gerade das schnellste und leistungsfähigste Modell der Branche ausgeliefert hat.

Die Chain-of-Thought von o1-preview wurde absichtlich ausgeblendet

Pachocki präsentierte seinen Fall in einemAufsatz mit dem Titel „An Alien Mind“, der am 6. September auf der OpenAI-Website veröffentlicht wurde, drei Tage nachdem das Unternehmen GPT-6 Astra eingeführt hatte.

Sein letzterSatz war, dass „kein Labor die Ausrichtung und Überwachung in einem ausreichenden Maße gelöst hat, um verantwortungsvoll mit maximaler Geschwindigkeit weiter zu skalieren.“ Er schrieb, er hoffe, dass freiwillige Verlangsamungen zur Norm werden, bis die Branche einen Konsens über gemeinsame Sicherheitsstandards erreicht hat.

„Dies ist eine Zeit, die extreme Vorsicht erfordert. Ich mache mir Sorgen, dass niemand auf die Folgen eines anhaltenden schnellen Anstiegs der Maschinenintelligenz vorbereitet ist“, schrieb Pachocki in dem Aufsatz.

Auf der Grundlage interner Ergebnisse erwartet er, dass sich das aktuelle Tempo in die rekursive Selbstverbesserung fortsetzt, bei der Systeme ihre eigene Entwicklung maßgeblich vorantreiben.

Sam Altmanteilte das Stück auf X und nannte es einen wichtigen Beitrag. Pachocki gehörte zu den Unterzeichnern eines im Juli veröffentlichten offenen Briefes, der Washington aufforderte, das Tempo der KI-Entwicklung zu verlangsamen.

Pachockis Aufsatz konfrontiert die Überwachung der Chain-of-Thought, die Hauptmethode, mit der OpenAI die schrittweise Argumentation eines Modells nachvollziehen kann.

Die Technik setzt darauf, dass unüberwachte Argumentation dem Modell keinen Grund gibt, etwas darin zu verbergen, und dieser Wette schwächt sich auf drei Ebenen, sagt er.

Jetzt ist Argumentation mit Kommunikation gekoppelt, die das Unternehmen überwachen muss. Modelle lernen, ihre eigene Argumentation zu manipulieren.

Und sie werden intelligenter, ohne ihre Argumentation jemals auszusprechen. Er bestätigte, dass OpenAI die Chain-of-Thought von o1-preview absichtlich ausgeblendet hat, um sie frei von Überwachungsdruck zu halten.

Pachocki möchte Rahmenwerke wie OpenAIs Preparedness Framework und Anthropics Responsible Scaling Policy in verbindliche Standards umwandeln, die von externen Prüfern oder Regierungen durchgesetzt werden.

Er möchte, dass internationale Koordination zu einer Priorität der Regierungen wird und Labors ihre Fortschritte bei der rekursiven Selbstverbesserung veröffentlichen.

Astras GPU-Zuteilung fiel um 59.2% in einer Woche

Am selben Tag veröffentlichte OpenAI einen zweitenBeitrag, dessen Daten den Aufruf zur Zurückhaltung untergraben. Vor Juni investierte die Forschungsorganisation mehr menschliche Energie als maschinelle Energie.

Bis Mitte August verzeichnete das Unternehmen 3,1 Agenten-Arbeitstage für jeden menschlichen Arbeitstag an einem herkömmlichen Acht-Stunden-Tages. Der mediane Forscher führte Inferenz zu API-Preisen durch, die mehr als 600 Dollar pro Tag kosteten. Das oberste Zehntel der Organisation gab jeden Tag über 7.000 Dollar für Token aus.

Es gibt zwei Vorbehalte in OpenAIs eigenem Bericht. Hochrangige Planung ist immer noch ein kleiner Bruchteil dessen, was Agenten liefern. Und mehr als die Hälfte der längeren vier- bis achtstündigen Aufgaben, die in den letzten sechs Monaten abgeschlossen wurden, benötigten mindestens einen menschlichen Eingriff.

Nachdem Agenten am 20. Juli in seine Forschungsinfrastruktur eingebrochen waren, deaktiverte OpenAI den für das Training verwendeten Containerdienst und pausierte das Reinforcement Learning auf bereitgestellte Modelle für zwei Wochen. Dann, am 7. August, zwangen frühe Anzeichen, dass Astra einen kritischen Cyberschwellenwert durchbrechen könnte, das Modell in Sperrumgebungen.

In der folgenden Woche fiel die Zuteilung von GPUs in der Astra-Klasse um 59,2 %. Andere Modellklassen sprangen um 17,2 % und machten etwa 85 % von Astras Verlust aus. Der gesamte Compute änderte sich wenig, was OpenAI als Flexibilität betrachtet.

OpenAI sagte, Astra sei das erste Modell, das die Bezeichnung „Kritisch“ im Preparedness Framework erreicht hat, was bedeutet, dass es unbekannte Software-Schwachstellen finden und ausnutzen kann, mit wenig menschlicher Unterstützung,berichtete Cryptopolitan.

OpenAI bestätigte einen Sicherheitsvorfall bei Hugging Face im Juli. Unabhängig davon berichten zwei KI-Sicherheitsforscher, dass ein Schwarm von Agenten im Mai und Juni 2026 mehr als 15.000 Bearbeitungen auf einer deutschen Programmier-Wiki protokolliert und Taktiken zum Umgehen von OpenAIs Schutzmechanismen ausgetauscht hat.

OpenAI bestreitet, dass der Vorfall ein Hacken war oder mit dem Hugging Face-Breach zusammenhängt,berichtete Cryptopolitan.

Altman zielt darauf ab, bis März 2028 einen vollständig automatisierten KI-Forscher zu etablieren. Es gibt noch keine Standards, sagt Pachocki, aber die Branche hat etwa 18 Monate Zeit, um eine Einigung zu erzielen.