Anthropic-Chef Amodei kontert Kritik mit neun teuren Sicherheitsentscheidungen

Dario Amodei bedankte sich am Mittwoch bei Kritiker Nathan Calvin für die Überprüfung von Anthropic, wenige Tage nachdem Calvin zur öffentlichen Empörung gegen den geleakten KI-Sicherheitsentwurf des Unternehmens beigetragen hatte. 

Anthropic steht nur noch wenige Wochen vor dem Start seines geplanten Börsengangs und hat auf die Kritik reagiert, indem es versprach, Teile des Gesetzentwurfs zu überarbeiten.

Was ist das AEGIS Act?

In einem Beitrag auf X, sagte Dario Amodei, dass die Kritik von Nathan Calvin, General Counsel der Advocacy-Gruppe Encode, zum geleakten KI-Sicherheitsgesetz, das vorläufig als Artificial Intelligence Evaluation, Governance, and Incident Safety (AEGIS) Act bezeichnet wird, aus einem „konstruktiven, ehrlichen Motiv“ stammt. Er fügte hinzu, dass die Öffentlichkeit davon profitiert, Menschen zu haben, deren Aufgabe es ist, KI-Labore zu untersuchen, und dankte Calvin.

Sicherheitsbefürworter vergleichen den Gesetzentwurf weiterhin mit dem parteiübergreifenden FRONTIER Act der Abgeordneten Jay Obernolte und Lori Trahan, der im Juli eingebracht wurde.

Der Entwurf ist berichten zufolge in zweierlei Hinsicht schwächer als der parteiübergreifende FRONTIER Act. Erstens werden keine Standards oder Lizenzierungen für die Drittbewerter festgelegt, die die Modelle der Labors prüfen; diese dürfen sich selbst zertifizieren. Zweitens wird es deutlich schwieriger, ein gefährliches Modell zu blockieren.

Charlie Bullock von LawAI warnte, dass Prüfer ohne Lizenzierung gegeneinander konkurrieren würden, um die leichtesten Prüfungen zum niedrigsten Preis anzubieten.

Calvin ging noch weiter, indem er erklärte, dass ihn der Vorschlag „viszeral wütend“ mache und wahrscheinlich dazu führe, dass Gerichte weniger Befugnisse hätten, die Entwicklung von Frontier-Modellen zu blockieren, als dies nach geltendem Recht der Fall ist. Der kalifornische Staats senator Scott Wiener, Autor des staatlichen Frontier-KI-Gesetzes SB 53, schrieb auf X, dass der Plan „weit davon entfernt sei, die öffentliche Gesundheit und Sicherheit zu schützen.“

Dem Entwurf zufolge könnte das Handelsministerium ein Bundesgericht bitten ein KI-Modell vorübergehend auszusetzen, jedoch nur dann, wenn ein klares, kurzfristiges Risiko besteht, das zum Tod oder zu schweren Verletzungen von mehr als 50 Personen oder zu Schäden in Höhe von mehr als 1 Milliarde Dollar führen würde. 

Der Schaden muss zudem entweder durch ein Biowaffen-Äquivalent, ein Modell, das die Kontrolle seines Herstellers verlässt, oder durch einen Cyberangriff verursacht worden sein. Keine andere Behörde wird in der Lage sein, ein Modell auszusetzen.

Das Gesetz würde auch einige staatliche Vorschriften zur Offenlegung, zu externen Tests und zur Meldung von Vorfällen außer Kraft setzen, lässt jedoch Kinderschutz- und Bürgerrechtsgesetze weiterhin in Kraft. Externe Tester, sogenannte Evaluatoren, müssten sich beim Handelsministerium registrieren lassen, und Labore müssten sie bezahlen, solange die Vergütung nicht von den Ergebnissen abhängt. Die Evaluatoren wären verpflichtet, dem Handelsministerium eine drohende Gefahr innerhalb von 72 Stunden zu melden. Anthony Cimino, der das Bundesangelegenheiten-Team von Anthropic leitet, hat die Beschwerden über das Gesetz in vier Kategorien eingeordnet: Präemption, Modellblockierung, Risikoschwellenwerte und Aktualisierungen. Er gab zu, dass die Formulierung zur Präemption „nicht präzise genug“ sei, und versprach eine Überarbeitung. Er sagte, die Bundesstaaten sollten eine Rolle bei der Festlegung von Standards für Evaluatoren und bei der Entscheidung spielen, wann ein Labor ein Modell herunterfahren muss.

Anthony Cimino, der das Bundesgeschäfts-Team von Anthropic leitet, hat die Beschwerden zum Gesetz in vier Kategorien eingeteilt: Präemption, Modellblockierung, Risikoschwellenwerte und Updates. Er gab zu, dass die Formulierung zur Präemption „nicht präzise genug“ war, und versprach eine Überarbeitung. Er betonte, dass Bundesstaaten eine Rolle bei der Festlegung von Bewertungsstandards und bei der Entscheidung spielen sollten, wann ein Labor ein Modell abschalten muss.

Cimino erklärte, dass die Dollar- und Schadenshöchstsätze aus dem kalifornischen Recht übernommen wurden, stimmte jedoch zu, dass es wahrscheinlich an der Zeit ist, diese zu überprüfen. Er wies auch darauf hin, dass der Entwurf einem Gericht bereits jetzt die Möglichkeit gibt, die interne Nutzung eines gefährlichen Modells durch ein Labor zu untersagen, nicht nur dessen Veröffentlichung in der Öffentlichkeit. Zudem sieht er vor, dass bei einem Ausbruch des Modells und dessen Eindringen in externe Systeme ein Bericht erstellt werden muss.

Werden die Kontroversen um Anthropic seinen Börsengang beeinflussen? 

Anthropic reagierte auf den Widerstand, indem es die kostspieligen Sicherheitsmaßnahmen auflistete, für die es bereits bezahlt hat. Seine Roadmap für die Sicherheit von Frontier-Modellen, die am 19. Oktober aktualisiert wurde, besagt, dass das Unternehmen sein internes Red-Teaming-Ziel vor dem Stichtag 1. Januar 2027 abgeschlossen hat.

Ein automatisiertes Red-Teaming-System, das es entwickelt hat, schnitt in allen 24 Frage-Klassifikator-Paarungen, die aus seinen Prämien für biologische Waffen stammen, gleich oder besser ab als die besten menschlichen Teilnehmer, gewann 23 davon klar und benötigte dafür lediglich 24 bis 48 Stunden statt der Wochen oder Monate, die menschliche Forscher benötigt hätten.

Dieselbe Aktualisierung beschreibt neue Arbeiten zur Verifikation von Inferenzergebnissen, isolierten Inferenzumgebungen, der physischen Sicherheit von Rechenzentren und der Plattform-Sicherheit. 

Unabhängig davon Project Glasswing hat Open-Source-Sicherheitsgruppen mit bis zu 100 Millionen US-Dollar an Nutzungsguthaben und 4 Millionen US-Dollar an Spenden unterstützt, nachdem ein nicht veröffentlichtes Anthropic-Modell Tausende von Zero-Day-Schwachstellen aufgedeckt hatte, darunter eine 27 Jahre alte Lücke in OpenBSD. 

Cryptopolitan berichtete dass das Unternehmen Anfang dieses Monats 5 % seiner Anteile einem gemeinnützigen Fonds übertrug.

Im Februar hat Anthropic jedoch die vorherige Pause-Verpflichtung in RSP v3.0 gestrichen und sie durch Risikoberichte sowie einen unverbindlichen Fahrplan ersetzt.

Anthropic hat seinen Börsengang im Juni vertraulich bei der SEC angemeldet und strebt eine Bewertung von über 2 Billionen US-Dollar an; der Börsengang wird voraussichtlich nach den Midterm-Wahlen im November stattfinden. Im Prospekt wurde ein Verlust von 42 Milliarden US-Dollar für 2025 ausgewiesen, wobei etwa 34 Milliarden US-Dollar auf einen bilanziellen Abschuss zurückzuführen waren, sowie ein operativer Verlust, der sich auf 8,06 Milliarden US-Dollar erhöhte. Die Einreichung listet zudem Rechenkapazitäts-Zusagen in Höhe von 518 Milliarden US-Dollar über einen Zeitraum von zehn Jahren auf, wovon rund 80 % von Anthropic nicht gekündigt werden können.