Anthropic warnt: KI-Entwicklung durch KI könnte Sicherheitsstandards überholen und Märkte destabilisieren

Künstliche Intelligenz übernimmt mehr Aufgaben, die für die Erstellung stärkerer Modelle erforderlich sind. Anthropic behauptet, dass Claude bereits dafür sorgt, dass der Prozess schneller abläuft, obwohl es noch nicht in der Lage ist, einen Nachfolger selbst zu erstellen. Das Unternehmen erklärte in einer Bewertung vom 4. Juni, dass die Entwicklung von KI ein Risiko darstellt, dass die Technologie die Sicherheitskontrollen und die regulatorische Aufsicht direkt übersteigt.

Wenn KI sich selbst baut und was das noch nicht bedeutet

Claude hat jedoch noch nicht das Niveau der rekursiven Selbstverbesserung erreicht, bei dem eine KI ihren Nachfolger erstellt und trainiert, ohne dass menschliches Eingreifen erforderlich ist. Laut Anthropic hat noch kein System diese Fähigkeit erreicht.

Claude hat bereits einen Großteil von Anthropics Programmierarbeiten bewältigt, obwohl es nicht über volle Autonomie verfügt. Bis Mai 2026 hatte Claude mehr als 80 % des Codes erstellt, den Ingenieure in die Softwareprojekte des Unternehmens einbrachten. Im zweiten Quartal 2026 trug ein durchschnittlicher Ingenieur täglich achtmal mehr Code bei als im Jahr 2024.

Diese Zahlen zeigen, wie stark die Codeausgabe gewachsen ist, aber nicht unbedingt, wie viel nutzbare Arbeit tatsächlich erledigt wird. Eine von METR zitierte Umfrage unter 349 Fachkräften ergab einen medianen selbst berichteten Anstieg des Wertes ihrer Arbeit um den Faktor 1,4 bis 2 durch den Einsatz von KI-Tools.

26% angeführt von Claude, keines davon vollständig autonom

Claude kann inzwischen mehr als nur Code schreiben. Die Messungen von Anthropic im August zeigten, dass es 26 % der Aufgaben in der KI-Forschung und -Entwicklung anführte, ein Anstieg von weniger als 1 % im Februar. Claude war an mehr als 90 % der Arbeiten beteiligt oder führte sie an, wobei Menschen jedoch durchgängig eingebunden blieben. Keine der gemessenen Arbeiten wurde vollständig autonom durchgeführt.

Anthropics Forschung und die METR-Umfrage messen unterschiedliche Dinge. Anthropik verfolgt die Codegenerierung und Forschung, die mit Hilfe von KI-Systemen durchgeführt wird, während METR misst, wie Mitarbeiter Zunahmen des Werts ihrer Arbeit wahrnehmen. Keine der beiden Studien gibt jedoch Aufschluss darüber, ob KI in der Lage ist, zu bestimmen, welche Forschungsprobleme gelöst werden sollten.

Wie sich dies potenzieren könnte, ohne dass ein einzelnes Modell sich selbst verbessert

KI muss nicht vollständig autonom sein, um schneller zu forschen. Laut einem RAND-Bericht vom Oktober können KI-Agenten stärkere Modelle erstellen, ohne sich darum kümmern zu müssen, eigene Nachfolger zu erschaffen. Sie können bereits eine Bedrohung für die Sicherheit darstellen, indem sie Zugang zu sensiblen Modellen und Code haben.

Laut den Ökonomen bei METR könnten Einschränkungen durch Faktoren wie Datenverfügbarkeit, Rechenleistung und die Fähigkeit zur Durchführung experimenteller Studien entstehen. Dennoch haben sie die Idee einer anhaltenden Beschleunigung der KI-Entwicklung nicht verworfen.

Die Frage ist, ob unabhängige Sicherheitsüberprüfungen mit KI-gestützten Experimenten Schritt halten können. Andernfalls könnte die Aufsicht lange hinterherhinken, bevor vollständige Autonomie erreicht ist.

Vom Vorantreiben der Frontlinie zu deren Kontrolle

Diese Sorge veranlasste Anthropic-CEO Dario Amodei, eine langsamere Entwicklung und unabhängige Prüfer einzufordern. In seinem September-Aufsatz schrieb er:

„Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern.“

Die Offenlegung von OpenAI vom 16. September beschrieb sechs Fälle besorgniserregender Modellverhalten. Cryptopolitan berichtete zudem über Uneinigkeiten unter Technologieexperten hinsichtlich der Frage, ob die KI-Ententwicklung verlangsamt werden sollte.

Doch die Übereinstimmung in Bezug auf Sicherheitsbedenken garantiert noch keine Maßnahmen. CSIS warnte, dass externe Prüfer Interessenkonflikte vermeiden müssen. Regierungen müssen sich ebenfalls vor regulatorischer Übernahme schützen. Branchenweite Vereinbarungen bleiben unsicher.

Das Geld folgt der Rechenleistung

Die Debatte hat auch finanzielle Auswirkungen. Der 2026 AI Index von Stanford fand eine Steigerung der privaten Investitionen in KI um 127,5 % im Jahr 2025. Die US-Investitionen lagen 23-mal höher als die chinesischen. Die OECD warnt auch, dass der Zugang zu Chips, Cloud-Infrastruktur und Daten weiterhin konzentriert ist. Dies führt zu einem Paradoxon. KI kann die Entwicklung von Forschungsprogrammen günstiger machen, aber die Ausbildung und das Testen fortschrittlicher Modelle erfordern weiterhin enorme Investitionen. Eine schnellere Entwicklung könnte daher den führenden Laboren einen noch größeren Vorteil gegenüber kleineren Konkurrenten verschaffen.