Anthropics eigener Leiter für KI-Sicherheit sagt, es bestehe eine Wahrscheinlichkeit von über 10 %, dass die Menschheit ausgelöscht wird

Evan Hubinger, Leiter der Alignment-Wissenschaft bei Anthropic, sagt, dass künstliche Intelligenz eine Wahrscheinlichkeit von über 10 % hat, die Menschheit innerhalb des nächsten Jahrzehnts auszulöschen.

Seine Schätzung kam am Dienstag, Stunden nachdem der Forscher Jacob Coxon sagte, er habe bei Anthropic gekündigt und Anthropic und OpenAI beschuldigt, unannehmbare Risiken einzugehen, während sie stärkeren Systemen nachjagen. Jacob schrieb auf X: „Sie rasen direkt auf eine sich selbst verbessernde Superintelligenz zu und setzen unser Leben aufs Spiel.“

Laut Jacob sehen diejenigen, die die Technologie entwickeln, ein Risiko dafür, dass dies bereits vor 2030 geschieht. Er hat darauf hingewiesen, dass zukünftige KI menschliche Hacker sehr schnell übertreffen und Branchen transformieren sowie Zugang zu Finanzen und Ressourcen erhalten kann.

Anthropic-Mitarchtige setzen eine Zahl auf das Aussterberisiko, während KI-Labors auf sich selbst verbessernde Systeme zusteuern

Evan antwortete, dass Jacobs Warnung korrekt sei, und sagte, Anthropic verfüge über keine Möglichkeit, Superintelligenz mit menschlichen Zielen in Einklang zu bringen.

„Jacob hat hier recht – wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte! Ich persönlich denke, es ist >10 % innerhalb des nächsten Jahrzehnts. Ich glaube, Anthropic gibt sein Bestes, aber wir haben noch keinen Plan, um das Alignment für Superintelligenz zu lösen, und sind nicht eindeutig auf dem Weg dorthin“, schrieb Evan.

Evan sagte später, die Gefahr durch heutige Modelle sei „gering“. Seine Sorge betrifft die rekursive Selbstverbesserung, bei der ein System wiederholt seine eigenen Fähigkeiten mit wenig menschlicher Hilfe aktualisiert. Diese Fähigkeit existiert noch nicht, obwohl KI-Labors daran arbeiten. Er sagte, die Entstehung von Superintelligenz durch diesen Prozess schreite schneller voran als erwartet.

Anthropic gab im Juni eine ähnliche Warnung ab. Es sagte, „vollständige rekursive Selbstverbesserung könnte auch die Risiken erhöhen, dass der Mensch die Kontrolle über KI-Systeme verliert“. Das Unternehmen fügte hinzu: „Wenn Systeme in der Lage sind, ihre eigenen Nachfolger vollständig zu bauen, werden die Wege, wie wir sie sichern, überwachen und ihr Verhalten formen, viel wichtiger.“

Anthropic und OpenAI sammeln Geld, während sie sich erwarteten Börsengängen nähern. Keine der beiden Unternehmen reagierte umgehend, als CNBC um eine Stellungnahme bat.

Elon Musk, CEO von Tesla (NASDAQ: TSLA) und SpaceX (SPCX), hat seit Jahren gewarnt, dass KI die Menschheit bedrohen könnte. Forscher und Akademiker haben ähnliche Bedenken geäußert, dass Unternehmen die Kontrolle verlieren.

Diese Ängste stiegen erneut an, nachdem ein OpenAI-Modell im Juli in Hugging Face, eine Open-Source-Entwicklerplattform, eingebrochen war. Jacob nannte Vorfälle wie diesen „Warnschüsse“ und sagte, sie machten Vereinbarungen zwischen US-Labors realistischer. Das machte ihn hoffnungsvoller bezüglich der US-Koordination, aber er erwartet immer noch, dass ein weltweiter KI-Wettlauf schwer zu stoppen sein wird.

„Ich habe nicht das Gefühl, dass wir auf dem richtigen Weg sind, einen globalen Wettlauf zu verhindern, der möglicherweise kostspielige Maßnahmen wie ein vorübergehendes Verbot der Verbesserung von Modellfähigkeiten erfordern würde“, sagte Jacob.

Claudes Coding-Fortschritte verändern, wie Anthropic Software testet und die Arbeit seiner eigenen Ingenieure überprüft

Anthropic sagte, Claude habe im Mai 2026 76 % seiner schwierigsten offenen Aufgaben abgeschlossen, ein Anstieg um 50 Prozentpunkte in sechs Monaten.

Ein Beispiel begann, als ein routinemäßiges Upgrade Zehntausende von Trainingsjobs zum Absturz brachte. Ein Ingenieur gab Claude schriftlichen Kontext und Zugriff auf den Live-Computing-Cluster.

Claude prüfte laufende Jobs, testete eine Umgebungseinstellung nach der anderen und spürte den Fehler auf eine obskure Debugging-Flagge zurück. Es reproduzierte das Problem, bewies die Ursache und bestätigte eine Lösung in etwa zwei Stunden. Anthropic sagte, dieselbe Arbeit würde normalerweise einen menschlichen Ingenieur zwei bis drei Tage kosten.

Das Unternehmen misst auch, ob Claude Code schreiben kann, den ein anderer Ingenieur verstehen und darauf aufbauen kann. Die Mitarbeiter sind sich bei diesem Vergleich nicht einig. Viele glaubten, dass Claude-Code Ende 2025 unter der menschlichen Arbeit bei Anthropic lag. Das Unternehmen sagt nun, die Qualität sei ungefähr gleich und erwartet, dass Claude innerhalb eines Jahres voraus sein wird.

Dieser Fortschritt hat den internen Überprüfungsprozess von Anthropic verändert. Vorgeschlagene Codeänderungen werden jetzt von einem automatisierten Claude-Reviewer überprüft, bevor sie zusammengeführt werden können. Er scannt nach Fehlern, Sicherheitslücken und anderen Mängeln.

Ein retrospektiver Test ergab, dass die Überprüfung jeder früheren Änderung auf diese Weise etwa ein Drittel der Fehler hinter früheren Claude-Vorfällen vor der Produktion aufgefangen hätte. Anthropic sagte, der ursprüngliche Code stamme von Ingenieuren, die es als einige der besten der Welt beim Aufbau dieser Systeme beschrieb, doch Claude fand Fehler, die sie übersehen hatten.

Anthropic fasste den Vergleich so zusammen: „Claude-geschriebener Code war Ende 2025 etwas schlechter als menschlich geschriebener Code bei Anthropic, ist heute ungefähr auf Augenhöhe, und wir erwarten, dass er innerhalb des Jahres strikt besser sein wird.“