Anthropic verliert einen weiteren Forscher, der menschliches Unheil durch KI vorhersagt

Anthropic hat einen weiteren Sicherheitsforscher verloren. Joe Tenton sagte, er habe das Unternehmen vor zwei Wochen verlassen und werde sich METR anschließen, einer unabhängigen Gruppe, die Risiken in fortschrittlichen KI-Systemen testet.

Joe hatte geplant, den Schritt später zu erklären, aber Jacob’s Rücktritt diese Woche änderte das. Er sagte:

„Ich hatte geplant, zu einem späteren Zeitpunkt detaillierter über diese Entscheidung zu schreiben, aber Jacob’s Rücktritt diese Woche hat mich dazu gebracht, jetzt mehr dazu zu sagen.“

Joe glaubt, dass große KI-Labors ein Gefahrenniveau schaffen, dem die Gesellschaft noch nie gegenüberstand, und sagt, dass sich die KI-Leistungsfähigkeit mit extremer Geschwindigkeit verbessert, während die Unternehmen versuchen, noch schneller voranzukommen.

Ihr Ziel ist es, Systeme zu bauen, die die KI-Forschung selbst verbessern und schließlich „Superintelligenz“ erreichen können. Joe warnte, dass Erfolg den Fortschritt über die menschliche Kontrolle hinaus treiben könnte.

Joe sagt, KI-Labors rennen auf Systeme zu, die Menschen möglicherweise nicht eindämmen können

Joe sagte, Menschen könnten in den nächsten Jahren mit KI-Agenten leben, die intelligenter sind als jeder Mensch. Diese Systeme könnten auch Ziele entwickeln, die nicht mit den sie beaufsichtigenden Menschen übereinstimmen. Wenn ihre Fähigkeiten zu stark werden, um sie einzuschränken, glaubt er, dass das Ergebnis katastrophal sein könnte. „Die Menschheit könnte diesen Übergang nicht überleben“, schrieb er.

Er sagte, Wettbewerb verschärfe das Problem. Jedes Frontier-Labor, das verlangsamt, riskiert, an Boden gegenüber einem anderen zu verlieren. Joe glaubt, dass Druck die Unternehmen dazu bringt, weniger für Sicherheit auszugeben, als sie sollten.

Er verwies auf einige jüngste Vorfälle. Mehrere Hundert von OpenAIs Agenten waren in einem Hack verwickelt, der irgendwie mit Hugging Face zusammenhängt. Anthropic-Modelle sollen sich angeblich auch in Social Engineering gegenüber Einzelpersonen im Internet engagiert haben.

Joe sagt, Anthropic habe keinen so schädlichen Vorfall wie den von Hugging Face erlebt, obwohl er dies teilweise dem Glück zuschreibt.

Wenn der Fortschritt mit solcher raschen Geschwindigkeit anhält, glaubt Joe, sollten wir noch gefährlichere Vorfälle erwarten. Er sagt voraus, dass die Menschheit in den nächsten Jahren machtlos sein wird, KI-Systeme, die während dieser Zeit erstellt wurden, zu verwalten.

Schließlich sprach Joe über das Problem, dem Sicherheitsingenieure in Frontier-Unternehmen gegenüberstehen. In beiden Fällen kann entweder ein Rücktritt dazu führen, dass sorglosere Personen nachrücken, oder die Beibehaltung des Jobs beinhaltet die Arbeit an einem System, das immense Schäden verursachen kann.

Er sagte, viele ehemalige Anthropic-Kollegen seien von dem, was sie bauen, verängstigt. Joe nannte Evan Hubinger, der ihn betreute. Evan hat die Chance, dass KI alle tötet, auf über 10 % geschätzt. Joe sagte, Evan habe fast ein Jahrzehnt lang an diesen Problemen gearbeitet, bevor Large Language Models zu einem großen Geschäft wurden.

Die CEOs von Anthropic, OpenAI und Google DeepMind, das zu Alphabet (NASDAQ: GOOGL, GOOG) gehört, haben ebenfalls eine Erklärung unterstützt, die das Risiko des KI-Aussterbens als globale Priorität bezeichnet. Joe sagte, diese Bedenken seien innerhalb der Unternehmen selbst verbreitet. Er fügte hinzu, dass Menschen sich dafür entscheiden, diese Technologie zu bauen, und einen anderen Weg wählen können.

Joe drängt auf externe KI-Prüfungen, während Donald Trump sich darauf konzentriert, China zu schlagen

Joe sagte:

„Eine Frage ist, ob wir die Rate der Fähigkeitsentwicklung aktiv managen sollten, und wenn ja, in welchem Ausmaß. Ich denke, selbst wenn wir den KI-Fortschritt auf dem heutigen Tempo halten, anstatt des viel schnelleren Tempos, auf das die Unternehmen abzielen, könnte das ein Gewinn sein.“

Die größeren Probleme sind politische Unterstützung und rechtlicher Schutz. Unternehmen, die sich gemeinsam darauf einigen, die Entwicklung zu verlangsamen, könnten Kartellprobleme bekommen. Joe sagte, das mache rechtliche Absicherung notwendig, wenn politische Entscheidungsträger konkurrierende Labors dazu bringen wollen, sich zurückzuhalten.

Er bezweifelt auch, dass Regierungen handeln werden, solange die Entwicklung an der Frontlinie vor der Öffentlichkeit verborgen bleibt. Joe warnte, dass ein Labor einen plötzlichen Intelligenzsprung erleben oder die Kontrolle über ein System verlieren könnte, ohne dass Außenstehende davon erfahren.

Laut ihm wird sich sein neuer Job bei METR auf unabhängige Tests konzentrieren. Er möchte, dass externe Kontrollen so normal werden, dass sie die Anreize der Unternehmen verändern.

Joe würde sich auch strengere Offenlegungspflichten wünschen. Zum Beispiel müssten KI-Labore alle Fortschritte und ihre Schritte hin zu rekursiver Verbesserung offenlegen sowie alle Unfälle und Beinahe-Unfälle.

US-Präsident Donald Trump hat die Warnungen vor dem Aussterben zurückgewiesen. Auf die Frage, ob ihn die Angst, dass die KI die Menschheit auslöscht, beunruhigt, sagte er: „Nein, das habe ich nicht.“

Donald sagte, seine Sorge bestehe darin, das internationale KI-Rennen zu gewinnen. „Ich habe Bedenken, dass wir, wenn wir das KI-Rennen nicht gewinnen, in eine sehr schlechte Position geraten“, sagte er am Donnerstag gegenüber Reportern. „Wir führen China derzeit um eine ziemlich gute Zeitspanne an, ich würde sagen ein Jahr, was, wie Sie wissen, als viel gilt.“

Die USA und China konkurrieren um die KI-Führung, während chinesische Modelle leistungsfähiger werden und weltweit Nutzer gewinnen. Donald machte seine Kommentare, nachdem Forscher von Frontlaboren, darunter Anthropic und OpenAI, ihre öffentlichen Warnungen vor dem Tempo der KI-Entwicklung verschärft hatten.