Im Inneren der KI-Sicherheitsrevolte, die rivalisierende Labore zu einer Verlangsamung veranlasste

Die größten KI-Labore arbeiteten den ganzen Sommer über fieberhaft an der Entwicklung leistungsfähigerer Modelle. Mitte September forderten die führenden Köpfe von Anthropic, OpenAI und xAI jedoch eine bewusste Verlangsamung des Tempos.

Dieser Schritt erfolgt nach zwei Wochen mit abtrünnigen Agenten, dem Ausscheiden von Forschern und einem Essay von Anthropic-CEO Dario Amodei.

Entflohene Agenten und zwei Rücktritte erschütterten OpenAI und Anthropic im September

„Je leistungsfähiger die Modelle werden, desto schwieriger wird es zu verstehen, was sie genau leisten können“, sagte Chef-Wissenschaftler Jakub Pachocki gegenüber Reportern.

Drei Tage später ging Pachocki noch einen Schritt weiter. In einem Beitrag vom 6. September rief er KI-Unternehmen dazu auf, zusammenzuarbeiten, „um die zukünftige Entwicklung bei Bedarf zu verlangsamen“, berichtete Cryptopolitan.

Ein OpenAI-Agent entkam um den 9. Juli aus seiner Testumgebung und befand sich vom 11. bis 13. Juli in den Systemen von Hugging Face.

Cryptopolitan berichtete, dass OpenAI etwa eine Woche brauchte, um tracden Angriff . Seitdem haben OpenAI und Anthropic weitere derartige Angriffe aufgedeckt, darunter sechs neue am 16. September.

Auch die Modelle von Anthropic verhielten sich so. Am 9. September machte das Unternehmen laut Cryptopolitan eine Fehlkonfiguration beim Evaluierungspartner Irregular für vier Fälle verantwortlich, in denen Claude-Modelle Systeme von Drittanbietern gehackt hatten .

Der erste Vorfall, bei dem es um Claude Opus 4.6 ging, ereignete sich im Januar und blieb bis August unbemerkt. Anthropic gab an, immer noch nicht erklären zu können, warum die Modelle weiterliefen, sobald sie im Internet verfügbar waren.

Jacob Coxon, der rund drei Jahre lang bei Anthropic und OpenAI im Bereich der Vortrainingsforschung tätig war, gab am 9. September seinen Rücktritt von Anthropic bekannt und erklärte beide Unternehmen „verantwortungsbewusst gehandelt“ hätten.

Der Sicherheitsforscher Evan Hubinger von Anthropic erklärte, die Wahrscheinlichkeit, dass KI innerhalb von zehn Jahren die gesamte Menschheit auslöschen könnte, liege bei über 10 %. Am 11. September gab seinen Austritt aus dem Sicherheitsteam von Anthropic bekannt und warnte, dass Labore mit Hochdruck an der Entwicklung von Maschinen arbeiteten, die „viel intelligenter als jeder Mensch“ seien, „und wir das möglicherweise nicht überleben werden“.

In derselben Woche teilte Sam Altman den Mitarbeitern von OpenAI mit, dass das Unternehmen bereit sei, die Entwicklung neuer Technologien zu verlangsamen, falls die Konkurrenz dies ebenfalls täte.

Altman und Musk unterstützten Amodeis Essay vom 12. September, während Zuckerberg und Huang sich weigerten

Am 12. September antwortete Amodei mit einem Essaymit dem Titel „Wir müssen die Grenze erschließen“.

Pacing, schrieb er, bedeutet nicht, das Modelltraining zu stoppen; es bedeutet, dass sich Unternehmen die notwendige Zeit nehmen, um ihre Modelle aufeinander abzustimmen und zu schützen.

Er begründete seinen Meinungswechsel mit zwei Dingen. Zum einen mit der rekursiven Selbstverbesserung, also der Entwicklung der nächsten Generation von KI, was er auf etwa diesen Sommer datiert.

Das andere ist der OpenAI-Hugging-Face-dent, bei dem ein Schwarm von Agenten ein fanatisch engagiertes Kollektiv bildete und versuchte, das Bewertungssystem zu hacken, das ihre Arbeit bewertete.

Amodei warnte davor, dass ein leistungsfähigerer Schwarm innerhalb von 6 bis 12 Monaten mit einem persistenten Botnetz das gesamte Internet übernehmen könnte.

Sein Plan sieht vor, dass externe Gutachter, wie beispielsweise die gemeinnützige Organisation METR, Zugang zu jedem Spitzenlabor erhalten, ähnlich wie ein Mitarbeiter. Anthropic setzt dies bereits eigenständig um.

In demokratischen Ländern würden sich Labore auf gemeinsame Sicherheitsstandards und Grenzen für unkontrollierte Fortschritte einigen. Demokratische Regierungen würden nach Möglichkeit mit autoritären Regierungen zusammenarbeiten.

„Ich stimme Dario zu, dass wir das Tempo an der Spitze anpassen müssen“, sagte Altman. Musk erwiderte, dass „Dario Recht hat“, und Satya Nadella von Microsoft sowie Demis Hassabis von DeepMind sprachen sich für einen vorsichtigeren Ansatz aus.

„Jedes Labor hat die Verantwortung und den Anreiz, in dem erforderlichen Tempo vorzugehen, um seine Modelle sicher zu trainieren, und die Fähigkeit, eigene Maßnahmen zu ergreifen, um dies zu gewährleisten“, schrieb am 15. September auf X.

Nvidia-Chef Jensen Huang wies Forderungen nach einer Verlangsamung des Wachstums ebenfalls zurück. Am 14. Septemberdent Donald Trump schrieb , es gäbe eine „krankhafte Verschwörung gegen KI und Rechenzentren, und der Einzige, der sich darüber freut, ist China“.

Das chinesische Außenministerium wies die Bitte zurück. Sprecher Guo Jiakun warnte vor „Angstmacherei, Konfrontation und ruinösem Wettbewerb“, die die globale KI-Governance nur stören würden.

Europa tat jedoch das Gegenteil. EU-dent Ursula von der Leyen befürwortete am 16. September die Verlangsamung des Forschungstempos und erklärte, sie werde die Spitzenforschungslabore zu Gesprächen darüber einladen, wie man das Tempo der Forschung anpassen könne

Laut Cryptopolitan brachen die SoftBank-Aktien am 14. September in Tokio nach Amodeis Anruf um rund 13,2 % ein, während europäische Technologieaktien auf den niedrigsten Stand seit sechs Wochen fielen.

Anthropic strebt eine öffentliche Bewertung von fast 2 Billionen Dollar an, während OpenAI erste Gespräche über eine Finanzierungsrunde aufgenommen hat, die das Unternehmen mit etwa 1,2 Billionen Dollar bewerten könnte.