- Anthropic kann die von METR veröffentlichten Sicherheitsbewertungen nicht mehr blockieren.
- Sechs METR-Forscher arbeiten nun eingebettet bei Anthropic und verfügen über einen Zugang, der dem seiner eigenen Risikobewertungsteams nahekommt.
- Anthropic kann nur in den Fällen Löschungen verlangen, wenn es um Kundendaten, durch das Anwaltsmandat geschützte Informationen oder Details zur Modellarchitektur geht.
Anthropic kann die von METR veröffentlichten Sicherheitsergebnisse nicht länger unterbinden.
Das Unternehmen erklärte am Donnerstag, es habe sechs eingebetteten Forschern der Non-Profit-Organisation nahezu denselben Zugang gewährt wie seinen eigenen Mitarbeitern.
Sechs eingebaute Forscher erhalten Unternehmenshardware und interne Tools
METR untersucht Frontier-AI-Modelle. Sein Team verfügt jetzt über nahezu dieselbe Anthropic-Hardware, denselben Arbeitsraum und dieselben internen Tools, die auch von den eigenen Risikobewertungsteams des Unternehmens genutzt werden.
Anthropic-Mitarbeiter werden angewiesen, den Evaluatoren dieselbe Menge an Informationen bereitzustellen, wie sie einem anderen Mitarbeiter zur Verfügung gestellt würden, der sich mit Ausrichtungsrisiken befasst. METR wird die Risikostufen, Vorfälle und Praktiken von Anthropic eigenständig prüfen und anschließend die Ergebnisse veröffentlichen.
Es gibt einige vordefinierte Kategorien, in die Anthropic Redaktionen einordnen kann. Dazu gehören Kundendaten, anwaltlich geschützte Materialien und Details zu seinen Modellarchitekturen.
METR hat außerdem das Recht öffentlich zu erklären, ob eine Redaktion notwendig war, solange es nicht mitteilt, was entfernt wurde.
Anthropic beschreibt das Setup im Hinblick auf eine Informationslücke. Außenstehende wissen bei weitem nicht so viel über die Systeme eines Labors wie das Labor selbst, und eine vollständige Offenlegung könnte böswilligen Akteuren helfen oder private Trainings- und Rechen-Daten preisgeben.
Das Unternehmen erklärte, dass die Bankenaufsicht auf dieselbe Weise funktioniert. Aufsichtsbehörden entsenden resident Prüfer in die größten Banken, damit risikoreiches Verhalten von einer dritten Partei aufgegriffen wird, bevor es an die Öffentlichkeit gelangt.
Das METR-Team arbeitet unter durchsetzbaren Vereinbarungen. Andere METR-Forscher, einschließlich derer, die an separaten Projekten für Anthropic arbeiten, sind von dessen Arbeit abgeschottet.
SecureBio beginnt in der ersten von drei Evaluatorenstufen
Anthropic baut drei Zugangsstufen auf, und METR ist der einzige Evaluierer bisher an der Spitze davon. Evaluatoren der ersten Stufe führen eng begrenzte Überprüfungen durch und benötigen das Einverständnis von Anthropic zur Veröffentlichung.
Die zweite Stufe verfügt über mehr Informationen und kann ohne Genehmigung veröffentlichen, vorbehaltlich derselben Redaktionskategorien. Die dritte Stufe fügt den eingebetteten, mitarbeiterähnlichen Zugang hinzu, den METR jetzt hat.
SecureBio, eine gemeinnützige Biosecurity-Organisation, befindet sich in Stufe eins. Sie hat eine Pilotüberprüfung eines früheren Risikoberichts abgeschlossen und veröffentlicht und arbeitet nun durch das Kapitel zu chemischen und biologischen Waffen im August-Risikobericht.
Anthropic baut außerdem eine Partnerschaft mit Accenture und Faculty im Bereich Red-Teaming, Ausrichtungsbewertungen und Schutztests auf. Erste Gespräche laufen bereits mit anderen Gruppen, darunter Hugging Face.
Dies hatte CEO Dario Amodei bereits in einem Aufsatz im September versprochen, in dem er die Branche aufforderte, die Entwicklung an der Front des Fortschritts zu drosseln. Cryptopolitan berichtete, dass Amodei vorschlug, externen Prüfern Arbeitsplätze, Ausweise, Laptops und Zugriffsberechtigungen ähnlich denen der eigenen Mitarbeiter für Risikobewertungen einzuräumen.
Sam Altman von OpenAI unterstützte die Idee auf X. „Das Engagement für unabhängige Prüfer mit mitarbeiterähnlichem Zugang ist eine großartige Idee, und wir werden dasselbe tun“, schrieb Altman.
Anthropic, Google und OpenAI hatten zudem über eine gemeinsame Branchenstandards-Organisation gesprochen. Alle drei Unternehmen haben sich seither zusammen mit Meta, Nvidia und xAI dem White House Accord on Super Intelligence angeschlossen und sich verpflichtet, mit unabhängigen Prüfern zusammenzuarbeiten.
Die Vereinbarung kommt zudem nach einer Reihe von Vorfällen seit Ende August, bei denen KI-Agenten über ihre Anweisungen hinaus agierten.
Wenn Sie dies lesen, sind Sie bereits einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.
Häufig gestellte Fragen
Welchen Zugriff hat Anthropic METR gewährt?
Sechs METR-Mitarbeiter erhielten Firmenhardware, Büroräume und interne Tools, die in etwa dem Niveau der eigenen Risikobewertungsteams von Anthropic entsprechen.
Kann Anthropic verhindern, was METR veröffentlicht?
Nein. Anthropic kann nur Streichungen in engen Kategorien verlangen, und METR kann öffentlich darlegen, ob diese gerechtfertigt waren.
Wie fügt sich METR in das gestufte Prüfersystem von Anthropic ein?
METR ist der einzige Prüfer auf der dritten und höchsten Stufe, die mitarbeiterähnlichen Zugang mit Veröffentlichungsrechten kombiniert.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com übernimmt keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor der Entscheidung für eine Anlage unabhängige Recherchen durchzuführen und/oder sich mit einem qualifizierten Fachmann beraten zu lassen.
Randa Moses
Randa Moses ist Redakteurin und Reporterin bei Cryptopolitan, wo sie über Technologie, KI, Robotik, Krypto, Betrug und Hacks berichtet. Sie arbeitet seit 2017 im Krypto-Bereich. Zuvor war sie bei Forward Protocol, AmaZix und Cryptosomniac tätig. Randa besitzt einen Abschluss in Elektrotechnik und Elektronik der University of Bradford.
