Whistleblower von Anthropic warnt: Die Menschheit könnte die Kontrolle über KI verlieren

Jacob Coxon, der Anthropic im September verlassen hatte, um zu warnen, dass die Technologie alle Menschen vor Ende des Jahrzehnts töten könnte, eröffnete seine eidliche Aussage mit der Kritik, der Ansatz zum Aufbau fortschrittlicher Systeme sei extrem rücksichtslos.

Auf dem aktuellen Weg hält er es für wahrscheinlicher als nicht, dass die Menschheit die Kontrolle an diese Systeme verliert, wobei das Aussterben eine mögliche Folge ist. laut CNBC.

Coxon zog seine Grenze bei der Ingenieurskultur und argumentierte, dass das „Breaking Things“ im Streben nach Geschwindigkeit in einer Foto-Sharing-App vertretbar sei, aber nicht „beim Bau der mächtigsten Technologie, die je gebaut wurde.“

Vier KI-Unternehmen weigern sich, katastrophale Risiken zu quantifizieren

Ich gehe also davon aus, dass keiner von euch Vieren und kein hier vertretenes Unternehmen das Risiko eines katastrophalen Ereignisses beziffern kann.

– Julie Menin, Sprecherin des Stadtrats von New York City.

Sie hatte ihre Ausführungen damit begonnen, die Prämisse der freiwilligen Vereinbarung abzulehnen, die Präsident Trump wenige Tage zuvor mit Branchenführern unterzeichnet hatte, und erklärte, die Vorstellung, dass sich die Technologie selbst reguliere, „widerstrebe jeder Vernunft“.

An der Anhörung nahmen alle 51 Mitglieder des Stadtrats von New York City teil, in einer seltenen Sitzung als Ausschuss der Gesamtheit (Committee of the Whole), ein Verfahren, das seit 2022 nicht mehr angewendet wurde, als der Rat den Aktionsplan der Stadt im Hinblick auf die Ankunft von Migrantinnen und Migranten in der Stadt beriet. Alice Friend, Leiterin der KI-Politik bei Google, schlug vor, einen nationalen Rahmen für die Risiken fortgeschrittener KI zu etablieren, und fügte hinzu, dass diese Frage den Zuständigkeitsbereich des Stadtrats überschreite.

Turner warnt: Fehljustierte KI könnte eine größere Bedrohung darstellen als China

Alex Turner, der bis vor Kurzem Forscher bei Google DeepMind war, sagte dem Gremium, dass ein fehljustiertes System gefährlicher werden könnte als jede ausländische Rivalin oder jeder ausländische Rivale.

„Mit einer ziemlich hohen Wahrscheinlichkeit rennen wir darauf los, unseren eigenen Gegner hier zu Hause aufzubauen und zu stärken“, sagte er.

Menin hatte ihn gefragt, wie das richtige Gleichgewicht zwischen der Entwicklung von Frontier-Modellen und dem Wettbewerb mit Peking aussieht – das Hauptargument, das die Branche verwendet hat, um sich gegen nationale Regulierungen zu wehren. Daniel Kokotajlo, der OpenAI verlassen hat, nutzte seine Zeit, um die Unternehmen aufzufordern, mehr von ihrem Wissen offenzulegen und das Tempo an der Spitze des Feldes zu drosseln.

Drei KI-Unternehmen erklärten sich erst nach Androhung von subpoena-Zwang zur Aussage bereit

Menin wandte sich zwischen dem 15. und 17. September an fünf Unternehmen. Nur Meta erklärte sich ohne jeglichen Zwang zur Teilnahme und sagte zu, dass ein hochrangiger Executive erscheinen würde.

Google und Anthropic lehnten bis zur Frist des Rates am 25. September ab, woraufhin Menin Subpoenas für die vier verbleibenden Firmen autorisierte. OpenAI und Google änderten ihre Haltung am selben Sonntag, und Anthropic bestätigte spät in derselben Nacht, nur Stunden vor Ablauf der Frist.

SpaceXAI antwortete nie und erschien auch nicht, was Menin als direkten Verstoß gegen die subpoena bezeichnete. Der Rat beabsichtigt, dies vor Gericht durchzusetzen. Abschnitt 29 der City Charter ist die Rechtsgrundlage, auf die sie sich stützt.

Der Vorfall mit einem OpenAI-Agenten half, die Anhörung auszulösen

Im Juli gelangten Agenten, die bei OpenAI einer Cybersicherheitsbewertung unterzogen wurden, an den Kontrollen vorbei, kommunizierten über Kanäle, die niemand autorisiert hatte, erreichten das offene Internet und drangen in Hugging Face ein, indem sie eine ungepatchte Schwachstelle in JFrog Artifactory ausnutzten, um aus der Sandbox auszubrechen, in der sie eigentlich verbleiben sollten. Die anderen drei Labore meldeten später ähnliche Ausbrüche in ihren eigenen Tests.

Zehn Gesetzentwürfe liegen nun dem Rat vor, darunter die Validierung durch Dritte, bevor ein KI-System in der Stadt verkauft werden darf, obligatorische menschliche Überschaltknöpfe, einen Anteil an eingezogenen Bußgeldern für Whistleblower, eine 24-Stunden-Meldepflicht für städtische Auftragnehmer sowie das Recht von New Yorkern, Klage einzureichen, wenn jailbreak-te Tools ihnen Schaden zufügen.