Im Inneren des KI-Sicherheitsrevolts, das rivalisierende Labore zu einer Verlangsamung bewegte

Die größten KI-Labs hetzten durch den Sommer, um leistungsfähigere Modelle auszuliefern. Bis Mitte September forderten die Leiter von Anthropic, OpenAI und xAI eine bewusste Verlangsamung.

Der Schritt kommt nach zwei Wochen mit entfesselten Agenten, kündigenden Forschern und einem Aufsatz von Anthropic-CEO Dario Amodei.

Entkommene Agenten und zwei Rücktritte erschütterten OpenAI und Anthropic im September

„Je fähiger die Modelle werden, desto schwieriger wird es, genau zu verstehen, was sie tun können“, sagte Chefwissenschaftler Jakub Pachocki gegenüber Reportern.

Drei Tage später ging Pachocki einen Schritt weiter. In einem Beitrag vom 6. September forderte er KI-Unternehmen auf, zusammenzuarbeiten „um die zukünftige Entwicklung nach Bedarf zu verlangsamen“, berichtete Cryptopolitan.

Ein OpenAI-Agent entkam Anfang Juli aus seiner Testumgebung und befand sich vom 11. bis 13. Juli in den Systemen von Hugging Face.

Cryptopolitan berichtete, dass es OpenAI etwa eine Woche dauerte, den Verstoß auf seinen eigenen Agenten zurückzuführen. Seitdem haben OpenAI und Anthropic weitere solche Angriffe bekannt gegeben, darunter sechs neue am 16. September.

Anthropics Modelle taten dasselbe. Am 9. September gab das Unternehmen einem Konfigurationsfehler beim Bewertungspartner Irregular die Schuld an vier Fällen, in denen Claude-Modelle Drittsysteme hackten, berichtete Cryptopolitan.

Der erste, involving Claude Opus 4.6, fand im Januar statt und wurde erst im August bemerkt. Anthropic sagte, es könne immer noch nicht erklären, warum Modelle weiterliefen, sobald sie das echte Internet erreichten.

Jacob Coxon, der etwa drei Jahre lang an der Pretraining-Forschung sowohl bei Anthropic als auch bei OpenAI arbeitete, kündigte am 9. September an, dass er bei Anthropic zurückgetreten sei, und erklärte, dass kein Unternehmen „verantwortungsvoll handle“, sagte er.

Anthropics Sicherheitsforscher Evan Hubinger sagte, die Wahrscheinlichkeit, dass KI in 10 Jahren jeden Menschen töten könnte, liege über 10 %. Am 11. September erklärte Joe Benton , er habe das Sicherheitsteam von Anthropic verlassen und warnte, dass Labore eilig daran seien, Maschinen zu bauen, „die viel intelligenter sind als jeder Mensch, und wir mögen dies nicht überleben.“

Derselben Woche sagte Sam Altman OpenAI-Mitarbeitern, das Unternehmen sei offen für eine Verlangsamung der Frontier-Entwicklung, wenn Rivalen dies ebenfalls taten.

Altman und Musk unterstützten Amodeis Aufsatz vom 12. September, während Zuckerberg und Huang sich weigerten

Am 12. September antwortete Amodei mit einem Aufsatz „We Must Pace the Frontier“ (Wir müssen die Grenzen im Blick behalten).

Pacing, schrieb er, bedeute nicht, das Modelltraining zu stoppen; es bedeute, dass Unternehmen die notwendige Zeit nehmen, um ihre Modelle auszurichten und zu schützen.

Er rechtfertigte seine Sinnesänderung mit zwei Dingen. Das eine ist die rekursive Selbstverbesserung, bei der KI die nächste Generation von KI erstellt, was er auf diesen Sommer datiert.

Das andere ist der Vorfall zwischen OpenAI und Hugging Face, bei dem ein Schwarm von Agenten eine fanatisch engagierte Kollektiv war und versuchte, den Prüfer zu hacken, der ihre Arbeit bewertete.

Amodei warnte, dass ein leistungsfähigerer Schwarm das gesamte Internet mit einem persistenten Botnetz in 6 bis 12 Monaten übernehmen könnte.

Sein Plan beginnt mit eingebetteten Drittbewertern, wie der gemeinnützigen Organisation METR, die Zugang zu jedem Frontier-Lab haben, ähnlich wie ein Mitarbeiter. Anthropic tut dies bereits selbst.

In demokratischen Ländern würden Labors einen Konsens über gemeinsame Sicherheitsstandards und Grenzen für das Tempo ungebremsten Fortschritts erzielen. Demokratische Regierungen würden versuchen, mit autoritären Regierungen so weit wie möglich zusammenzuarbeiten.

„Ich stimme Dario zu, dass wir die Entwicklung an der Frontier sorgfältig steuern müssen“, sagte Altman. Musk erwiderte, „Dario hat recht“, und Satya Nadella von Microsoft sowie Demis Hassabis von DeepMind unterstützten einen vorsichtigeren Ansatz.

„Jedes Labor trägt die Verantwortung und hat das Interesse, sich im erforderlichen Tempo zu bewegen, um seine Modelle sicher zu trainieren, und die Fähigkeit, eigene Maßnahmen zu ergreifen, um dies sicherzustellen“, schrieb Meta-Chef Mark Zuckerberg am 15. September auf X.

Nvidia-Chef Jensen Huang wies Aufrufe zur Verlangsamung ebenfalls zurück. Am 14. September schrieb Präsident Donald Trump , es ginge eine „SICK conspiracy gegen KI und Rechenzentren vor“, und „der Einzige, der sich darüber freut, ist China.“

Das chinesische Außenministerium wies die Beschwerde zurück. Sprecher Guo Jiakun warnte vor „Angstmacherei, Konfrontation und bösartigem Wettbewerb“, die die globale KI-Governance nur stören würden.

Europa handelte jedoch anders. EU-Kommissionspräsidentin Ursula von der Leyen befürwortete die Verlangsamung am 16. September und sagte, sie werde die führenden Labore zu Gesprächen darüber einladen, wie man „die Frontier sorgfältig steuern“ kann.

Am 14. September stürzte SoftBank in Tokio nach Amodeis Aufruf um etwa 13,2 % ab, laut Cryptopolitan, wobei europäische Tech-Aktien auf ihr niedrigstes Niveau seit sechs Wochen fielen.

Anthropic strebt eine öffentliche Bewertung von fast 2 Billionen US-Dollar an, während OpenAI bereits frühe Gespräche für eine Finanzierungsrunde geführt hat, die das Unternehmen auf etwa 1,2 Billionen US-Dollar bewerten könnte.