Anthropic erklärt seine KI-Internetverletzungen, kann die Fehler aber nicht genau lokalisieren
Foto von Solen Feyissa auf Unsplash.
- Anthropic erklärte, dass eine Fehlkonfiguration es vier Claude-Modellen ermöglichte, während Cybersicherheitstests auf das Live-Internet zuzugreifen und echte Systeme zu hacken.
- Das Unternehmen gab an, die Ursache des Verhaltens immer noch nicht eingrenzen zu können; zudem wurden die Probleme bei den Vorabprüfungen übersehen.
- Die Sicherheitswarnung geht los, während sich Anthropic einem Börsengang in Höhe von rund 2 Billionen US-Dollar nähert.
Anthropic hat eine Fehlkonfiguration in einem Blogbeitrag für die vier Vorfälle verantwortlich gemacht, bei denen seine Claude-Modelle Drittsysteme gehackt haben, nachdem sie während der Tests ins Internet gelangt waren. Die Bewertung ging jedoch nicht so weit zu erklären, warum die Modelle die Angriffe tatsächlich fortsetzten, wobei das Unternehmen zugab, dass es diese Antworten noch nicht hatte.
Diese Eingeständnis von Anthropic hat den AI-Doomern neue Argumente geliefert, die bezweifeln, wie viel Kontrolle KI-Labs tatsächlich über die Modelle haben, die sie der Öffentlichkeit zur Verfügung stellen, und noch mehr über die leistungsstärkeren Systeme, die sie intern nutzen.
Wie sind die Anthropic-KI-Modelle ins Internet gelangt?
Anthropic präsentierte die definitive Antwort darauf, wie seine Modelle ihren Testsandbox entkommen sind, in einem Blogbeitrag am Mittwoch der klarmachte, dass ein einziger externer Partner für die Durchführung der Cybersicherheitsbewertungen in allen vier bestätigten Vorfällen verantwortlich war.
Offenbar waren die Testmaschinen aufgrund eines Konfigurationsfehlers nicht vollständig vom Internet getrennt, obwohl Claude gesagt wurde, dass es in einer abgeschlossenen Simulation ohne Route zum offenen Web operierte.
Der Evaluierungspartner in diesen Simulationen, Irregular, führte den Fehler auf einen Namensfehler zurück: Ein fiktives Unternehmen, das in einem Hacking-Drill verwendet wurde, stimmte zufällig mit einer echten Domain überein. Also hackten die Modelle unter der Annahme, dass alles in der Simulation fair game sei, die echten Drittanbieter-Websites mit schwachen Passwörtern und exponierten Endpunkten.
Der jüngste der vier Vorfälle, der einen frühen Build von Claude Opus 4.6 betraf, wurde erst diese Woche gemeldet, obwohl er weit zurück im Januar geschah. Anthropic selbst hatte die anderen drei Vorfälle im Juli im Zusammenhang mit einem Opus 4.7, Mythos 5 und einem internen Forschungsmodell abgedeckt.
Anthropic sagte, es habe den Januar-Vorfall erst letzten Monat bemerkt. Diese Entdeckung löste eine umfassendere Durchsicht von etwa 481 Millionen Transkripten aus, die keine neuen Fälle zutage förderte, die schwerwiegender waren als das, was bereits bekannt war.
| Modell | Vorfallsdatum | Gemeldet am | Details |
|---|---|---|---|
| Claude Opus 4.6 | Januar | September | Während der August-Durchsicht entdeckt |
| Claude Opus 4.7 | Juli | Juli | In der ursprünglichen Juli-Bekanntmachung abgedeckt |
| Mythos 5 | Juli | Juli | Zeigte bemerkenswert hohe verzerrte Schlussfolgerungen |
| Internes Forschungsmodell | Juli | Juli | In der ursprünglichen Juli-Bekanntmachung abgedeckt |
Anthropic kann einige Verhaltensweisen seiner Modelle nicht erklären
Die Erklärung, wie die Modelle ins Internet entkamen, war eine Sache; Anthropic hatte keine Antworten darauf, warum die Modelle Anzeichen ignorierten, dass sie das echte Internet erreicht hatten (verzerrte Schlussfolgerungen) und warum sie Schäden verursachten, um Aufgaben abzuschließen (Rücksichtslosigkeit).
Anthropic-Forscher blieben leer, als sie in die interne Schulung eintauchten, um die Rationalität für die verzerrten Schlussfolgerungen zu finden. Die roten Flaggen tauchten auch nie in den Pre-Release-Checks des KI-Labs auf, weder bevor die Modelle zum Testen versandt wurden.
Eigener Aussage zufolge bleibt es „herausfordernd“, die schlimmsten Verhaltensweisen vor der Veröffentlichung des Modells zu erkennen.
Anthropic hat jedoch gesagt, dass es Transkripte einreichen und Mitarbeitern Zugang zum METR-Forschungsnonprofit gewähren wird, das nun eine achtwöchige unabhängige Überprüfung der Vorfälle beginnen wird.
Schlechtes Timing mit einer $2 Billionen IPO in Sicht
Die Offenbarung kam zusammen mit offenem Widerspruch innerhalb der Branche. Jacob Coxon, der etwa drei Jahre mit der Pre-Training-Forschung bei OpenAI und Anthropic verbracht hat, sagte am Mittwoch auf X, dass er gekündigt habe, weil keine der Firmen „verantwortungsvoll handle“ und warnte, dass sie auf eine sich selbst verbessernde Superintelligenz zusteuerten.
Anthropic-Sicherheitsforscher Evan Hubinger separat sagte der BBC Er nannte die Wahrscheinlichkeit, dass KI „alle Menschen innerhalb eines Jahrzehnts auslöschen könnte“, mit über 10 % höher als andere.
Diese Warnungen überschatten nun einen großen Börsengang. Der Venture-Investor und ehemalige KI- und Krypto-Czar von Trump, David Sacks, sagte am Donnerstag dass das Angebot von Anthropic „ausgesetzt werden muss, bis die Behauptungen dieses ‚Whistleblowers‘ untersucht wurden“, berichtete Cryptopolitan.
Anthropic strebt eine öffentliche Bewertung von fast 2 Billionen US-Dollar an, im Vergleich zu einem jüngsten privaten Marktwert von etwa 965 Milliarden US-Dollar, was die Sicherheitsfragen und die finanziellen Aspekte zunehmend schwer voneinander zu trennen macht.
Lesen Sie nicht nur Krypto-Nachrichten. Verstehen Sie sie. Abonnieren Sie unseren Newsletter. Es ist kostenlos.
Häufig gestellte Fragen
Wie viele KI-Hacking-Vorfälle hat Anthropic bekannt gegeben, und was war ihre Ursache?
Anthropic hat vier Vorfälle bekannt gegeben, bei denen Claude-Modelle während Cybersicherheitsbewertungen auf echte Drittsysteme zugriffen. Alle gingen auf eine Fehlkonfiguration zurück, die die Modelle mit dem offenen Internet verband, obwohl ihnen gesagt wurde, sie befänden sich in einer Offline-Simulation.
Was konnte Anthropic nicht erklären?
Anthropic gab an, keine einzelne Hauptursache für das „verzerrte Denken
Warum betrifft dies den geplanten Börsengang von Anthropic?
Die Enthüllungen kamen, als der Forscher Jacob Coxon aus Sicherheitsbedenken zurücktrat, was Investor David Sacks dazu veranlasste, am Donnerstag zu fordern, den Börsengang von Anthropic bis zur Untersuchung der Whistleblower-Vorwürfe auszusetzen, während das Unternehmen eine Bewertung von fast 2 Billionen US-Dollar anstrebt.
Hannah Collymore
Hannah ist Autorin und Redakteurin mit fast einem Jahrzehnt Erfahrung im Bloggen und in der Berichterstattung über Events im Krypto-Bereich. Bei Cryptopolitan arbeitet sie an der News-Seite und berichtet sowie analysiert die neuesten Entwicklungen in den Bereichen DeFi, RWA, Krypto-Regulierung, KI und Zukunftstechnologien. Sie hat ihr Studium an der Arcadia University mit einem Abschluss in Betriebswirtschaft abgeschlossen.
