Anthropic verliert einen weiteren Forscher, und dieser prophezeit den Untergang der Menschheit durch KI

Anthropic hat einen weiteren Sicherheitsforscher verloren. Joe Tenton gab bekannt, das Unternehmen vor zwei Wochen verlassen zu haben und sich METR anzuschließen, einerdent Gruppe, die Risiken in fortschrittlichen KI-Systemen testet.

Joe hatte geplant, den Schritt später zu erklären, aber Jacobs Rücktritt diese Woche änderte das. Er sagte:

„Ich hatte eigentlich geplant, zu einem späteren Zeitpunkt ausführlicher über diese Entscheidung zu schreiben, aber Jacobs Rücktritt in dieser Woche hat mich dazu veranlasst, jetzt mehr dazu zu sagen.“

Joe ist der Ansicht, dass große KI-Labore eine Gefahr schaffen, der die Gesellschaft noch nie gegenüberstand. Er sagt, dass sich die Fähigkeiten der KI in extremer Geschwindigkeit verbessern, während die Unternehmen versuchen, noch schneller voranzukommen.

Ihr Ziel ist es, Systeme zu entwickeln, die die KI-Forschung selbstständig verbessern und schließlich „Superintelligenz“ erreichen können. Joe warnte davor, dass ein solcher Erfolg dazu führen könnte, dass der Fortschritt außer Kontrolle gerät.

Joe sagt, KI-Labore wetteifern um Systeme, die Menschen möglicherweise nicht kontrollieren können

Joe sagte, dass Menschen innerhalb der nächsten Jahre mit KI-Systemen zusammenleben könnten, die intelligenter sind als jeder Mensch. Diese Systeme könnten auch Ziele entwickeln, die nicht mit den Menschen übereinstimmen, die sie steuern. Sollten ihre Fähigkeiten zutronwerden, um sie einzuschränken, befürchtet er katastrophale Folgen. „Die Menschheit wird diesen Übergang möglicherweise nicht überleben“, schrieb er.

Er sagte, der Wettbewerb verschärfe das Problem. Jedes Spitzenlabor, das seine Entwicklung verlangsamt, riskiert, gegenüber einem anderen ins Hintertreffen zu geraten. Joe glaubt, dass dieser Druck Unternehmen dazu verleitet, weniger für Sicherheit auszugeben, als nötig wäre.

Er bezog sich auf einige aktuelle Fälle. Mehrere hundert Agenten von OpenAI wurden Opfer eines Hackerangriffs, der in irgendeiner Weise mit Hugging Face zusammenhängt. Berichten zufolge wurden anthropomorphe Modelle auch online für Social Engineering gegen Einzelpersonen eingesetzt.

Joe sagt, Anthropic habe noch keinen so verheerenden Vorfall wie den von Hugging Face erlebt, obwohl er dies teilweise dem Glück zuschreibt.

Wenn der Fortschritt in diesem rasanten Tempo anhält, glaubt Joe, dass wir mit noch gefährlicherendentrechnen müssen. Er prognostiziert, dass die Menschheit innerhalb der nächsten Jahre machtlos sein wird, die in dieser Zeit entwickelten KI-Systeme zu kontrollieren.

Abschließend sprach Joe über das Problem, mit dem Sicherheitsingenieure in zukunftsorientierten Unternehmen konfrontiert sind. In beiden Fällen besteht die Möglichkeit, dass eine Kündigung den Weg für nachlässigere Mitarbeiter ebnet oder dass die Beibehaltung der Stelle die Arbeit an einem System mit sich bringt, das immensen Schaden anrichten kann.

Er sagte, viele seiner ehemaligen Kollegen von Anthropic hätten Angst vor dem, was sie entwickeln. Joe nannte Evan Hubinger, seinen Vorgesetzten. Evan schätzt die Wahrscheinlichkeit, dass KI die Menschheit auslöscht, auf über 10 %. Joe erklärte, Evan arbeite schon fast ein Jahrzehnt an diesen Problemen, lange bevor große Sprachmodelle zu einem bedeutenden Wirtschaftszweig wurden.

Die CEOs von Anthropic, OpenAI und Google DeepMind (einem Tochterunternehmen von Alphabet, NASDAQ: GOOGL, GOOG) haben ebenfalls eine Erklärung unterzeichnet, in der sie das Aussterben von KI als globale Priorität bezeichnen. Joe erklärte, diese Bedenken seien in den Unternehmen selbst weit verbreitet. Er fügte hinzu, dass die Menschen sich bewusst für die Entwicklung dieser Technologie entschieden hätten und auch einen anderen Weg einschlagen könnten.

Joe drängt auf externe KI-Kontrollen, während Donald Trump sich darauf konzentriert, China zu besiegen

Joe sagte:

„Eine Frage ist, ob wir das Tempo des Fortschritts der Fähigkeiten aktiv steuern sollten und wenn ja, in welchem ​​Umfang. Ich denke, selbst die Begrenzung des KI-Fortschritts auf das heutige Tempo, anstatt auf das viel schnellere Tempo, das die Unternehmen anstreben, könnte ein Erfolg sein.“

Die größeren Probleme liegen in der politischen Unterstützung und dem Rechtsschutz. Unternehmen, die sich gemeinsam auf eine Verlangsamung der Entwicklung geeinigt haben, könnten mit kartellrechtlichen Problemen konfrontiert werden. Joe erklärte, dies mache einen rechtlichen Schutz notwendig, wenn die Politik von konkurrierenden Laboren Zurückhaltung wolle.

Er bezweifelt außerdem, dass Regierungen handeln werden, solange die Erschließung neuer Technologien vor der Öffentlichkeit verborgen bleibt. Joe warnte davor, dass ein Labor einen plötzlichen Intelligenzsprung erleben oder die Kontrolle über ein System verlieren könnte, ohne dass Außenstehende es bemerken.

zufolge wird sich seine neue Tätigkeit bei METR auf unabhängige Prüfungen konzentrierendent Er möchte, dass externe Kontrollen so üblich werden, dass sich die Anreize im Unternehmen ändern.

Joe wünscht sich außerdem strengere Offenlegungspflichten. Beispielsweise müssten KI-Labore alle erzielten Fortschritte und ihre Schritte zur kontinuierlichen Verbesserung sowie alledentund Beinahe-Unfälle offenlegen.

US-dent Donald Trump hat die Warnungen vor dem Aussterben der Menschheit zurückgewiesen. Auf die Frage, ob ihn die Vorstellung, dass künstliche Intelligenz die Menschheit auslöschen könnte, beunruhige, antwortete er: „Nein, ich habe keine Bedenken.“.

Donald sagte, seine Sorge gelte dem internationalen Wettlauf um die KI. „Ich befürchte, dass wir in eine sehr schlechte Lage geraten, wenn wir im KI-Bereich nicht gewinnen“, sagte er am Donnerstag vor Reportern. „Wir liegen derzeit mit einem ziemlich großen Vorsprung vor China, ich würde sagen ein Jahr, was, wie Sie wissen, eine ganze Menge ist.“

Die USA und China konkurrieren um die KI-Führung, da chinesische Modelle immer leistungsfähiger werden und weltweit immer mehr Nutzer gewinnen. Donald äußerte sich, nachdem Forscher führender Forschungseinrichtungen wie Anthropic und OpenAI ihre öffentlichen Warnungen vor der rasanten Entwicklung von KI verstärkt hatten.