Der KI-Sicherheitschef von Anthropics eigener Firma sagt, die Wahrscheinlichkeit, dass die Menschheit ausgelöscht wird, liege bei über 10 %

Laut Evan Hubinger, dem Leiter der Anthropomorphen Ausrichtungsforschung, besteht bei künstlicher Intelligenz eine Wahrscheinlichkeit von über 10 %, die Menschheit innerhalb des nächsten Jahrzehnts auszulöschen.

Seine Einschätzung erfolgte am Dienstag, nur wenige Stunden nachdem der Forscher Jacob Coxon seinen Rücktritt von Anthropic bekannt gegeben und Anthropic sowie OpenAI vorgeworfen hatte, bei ihrem Streben nachtronSystemen inakzeptable Risiken einzugehen. Coxon schrieb auf X: „Sie rasen geradewegs auf selbstlernende Superintelligenz zu und spielen mit unserem Leben.“

Laut Jacob sehen die Entwickler dieser Technologie das Risiko, dass dies schon vor 2030 geschieht. Er hat darauf hingewiesen, dass zukünftige KI menschliche Hacker sehr schnell übertreffen und ganze Branchen transformieren sowie Zugang zu Finanzmitteln und Ressourcen erhalten kann.

Mitarbeiter von Anthropology beziffern das Aussterberisiko, während KI-Labore auf selbstverbessernde Systeme hinarbeiten

Evan erwiderte, Jacobs Warnung sei richtig, und sagte, Anthropic fehle ein Weg, die Superintelligenz auf die menschlichen Ziele auszurichten.

„Jacob hat Recht – wir glauben tatsächlich ernsthaft, dass KI die gesamte Menschheit auslöschen könnte! Ich persönlich denke, dass es innerhalb des nächsten Jahrzehnts über 10 % sein werden. Ich glaube, Anthropic gibt sein Bestes, aber wir haben noch keinen Plan, um die Ausrichtung auf Superintelligenz zu lösen, und sind auch nicht auf dem richtigen trac“, schrieb Evan.

Evan erklärte später, die Gefahr durch die heutigen Modelle sei „gering“. Seine Sorge gelte der rekursiven Selbstverbesserung, bei der ein System seine Fähigkeiten mit minimaler menschlicher Unterstützung fortwährend verbessert. Diese Fähigkeit existiere zwar noch nicht, doch arbeiteten KI-Labore daran. Er sagte, die Entwicklung von Superintelligenz, die durch diesen Prozess entstehe, schreite schneller voran als erwartet.

Anthropic warnte bereits im Juni vor einer ähnlichen Entwicklung. Das Unternehmen erklärte: „Eine vollständige rekursive Selbstoptimierung könnte auch das Risiko erhöhen, dass Menschen die Kontrolle über KI-Systeme verlieren.“ Weiter hieß es: „Wenn Systeme in der Lage sind, ihre Nachfolger vollständig selbst zu entwickeln, gewinnen die Methoden, mit denen wir sie sichern, überwachen und ihr Verhalten steuern, erheblich an Bedeutung.“

Anthropic und OpenAI sammeln derzeit Kapital und bereiten sich auf ihren erwarteten Börsengang vor. Beide Unternehmen reagierten nicht umgehend auf eine Anfrage von CNBC.

Elon Musk, CEO von Tesla (NASDAQ: TSLA) und SpaceX (SPCX), warnt seit Jahren davor, dass künstliche Intelligenz die Menschheit bedrohen könnte. Forscher und Wissenschaftler äußern ähnliche Bedenken hinsichtlich eines möglichen Kontrollverlusts von Unternehmen.

Diese Befürchtungen wurden erneut laut, nachdem im Juli ein OpenAI- Modell in Hugging Face, eine Open-Source-Entwicklerplattform, eingedrungen war. Jacob bezeichnete solche Vorfälledent„Warnschüsse“ und erklärte, sie machten Vereinbarungen zwischen US-Laboren realistischer. Das stimmte ihn optimistischer hinsichtlich der US-Koordination, doch er rechnet weiterhin damit, dass ein weltweiter KI-Wettlauf schwer aufzuhalten sein wird.

„Ich habe nicht das Gefühl, dass wir auf tracsind, um ein globales Wettrennen zu verhindern, das möglicherweise kostspielige Maßnahmen wie ein vorübergehendes Verbot der Verbesserung der Modellfähigkeiten erfordern würde“, sagte Jacob.

Claudes Programmierkenntnisse verändern die Art und Weise, wie Anthropic Software testet und die Arbeit der eigenen Ingenieure überprüft

Anthropic gab an, dass Claude im Mai 2026 76 % seiner schwierigsten offenen Projekte abgeschlossen hatte, ein Anstieg um 50 Prozentpunkte innerhalb von sechs Monaten.

Ein Beispiel dafür begann, als ein routinemäßiges Upgrade zum Absturz zehntausender Trainingsaufträge führte. Ein Ingenieur gab Claude schriftliche Erläuterungen und Zugriff auf den laufenden Rechencluster.

Claude überprüfte laufende Prozesse, testete jeweils eine Umgebungseinstellung und tracdie Fehlerursache in einem schwer auffindbaren Debugging-Flag. Er reproduzierte das Problem, bewies die Ursache und bestätigte eine Lösung innerhalb von etwa zwei Stunden. Laut Anthropic würde dieselbe Arbeit einen menschlichen Entwickler normalerweise zwei bis drei Tage kosten.

Das Unternehmen misst auch, ob Claude Code schreiben kann, den andere Entwickler verstehen und weiterentwickeln können. Die Mitarbeiter sind sich bei diesem Vergleich nicht einig. Viele waren der Ansicht, dass Claudes Code Ende 2025 bei Anthropic nicht dem Niveau menschlicher Arbeit entsprach. Das Unternehmen gibt nun an, die Qualität sei annähernd gleichwertig und erwartet, dass Claude innerhalb eines Jahres aufsteigt.

Diese Fortschritte haben den internen Prüfprozess von Anthropic verändert. Vorgeschlagene Codeänderungen werden nun von einem automatisierten Claude-Reviewer geprüft, bevor sie zusammengeführt werden können. Dieser scannt nach Fehlern, Sicherheitslücken und anderen Mängeln.

Ein nachträglicher Test ergab, dass die Überprüfung aller bisherigen Änderungen auf diese Weise etwa ein Drittel der Fehler, die zu früheren Claude-dentgeführt hatten, vor der Produktion aufgedeckt hätte. Anthropic erklärte, der ursprüngliche Code stamme von Ingenieuren, die zu den weltweit besten im Aufbau solcher Systeme zählten, dennoch habe Claude Fehler gefunden, die ihnen entgangen seien.

Anthropic formulierte den Vergleich folgendermaßen: „Der von Claude geschriebene Code war Ende 2025 bei Anthropic etwas schlechter als der von Menschen geschriebene Code, ist heute in etwa gleichwertig, und wir erwarten, dass er innerhalb des nächsten Jahres deutlich besser sein wird.“