Australien warnt die UN vor den Gefahren von KI, nachdem ein OpenAI-Agent die staatlichen Sicherheitsvorkehrungen umgangen hat

Australien hat seinen Kampf gegen die Sicherheit von KI vor die Vereinten Nationen gebracht, nachdem autonome Systeme, die mit OpenAI in Verbindung stehen, die Schutzmaßnahmen eines australischen Regierungsdienstes, der Medicare-Daten verarbeitet, umgangen hatten.

Premierminister Anthony Albanese sagte am Donnerstag vor den Staats- und Regierungschefs der Welt, dass die KI in einem „rasenden Tempo“ voranschreite und die RegierungentronKontrollen über diese Technologie benötigten.

Dies ist der erste öffentlich bekannt gewordene Angriff auf die Computersysteme der australischen Regierung. Vor der UN-Generalversammlung in New York bezeichnete Anthony den Vorfall als „inakzeptabel“

Anthony sprach die Warnung aus, nachdem er enthüllt hatte, dass es im Juni gelungen war, sich unbefugten KI-Programmen von OpenAI Zugang zum Computernetzwerk der Regierung zu verschaffen. OpenAI erfuhr davon etwa zwei Monate später, wie Cryptopolitan bereits berichtete.

Laut Anthony sprach er Anfang der Woche persönlich mit Sam Altman, dem Gründer von OpenAI. In dem Gespräch brachte Anthony seine Unzufriedenheit darüber zum Ausdruck, dass das Unternehmen die Regierung erst jetzt über den Datenverstoß informiert hatte.

Australien drängt die Regierungen zu strengeren KI-Regeln, da führende Politiker warnen, dass sich die Systeme zu schnell entwickeln

Anthony erklärte vor der UNO, dass Länder KI nicht einfach blockieren oder so tun können, als verschwände sie. „Wir können KI weder ignorieren noch verhindern“, sagte er. „Deshalb haben wir uns diese Woche mit anderen Nationen zusammengetan, um aktiv die Entwicklung künstlicher Intelligenz zu gestalten, anstatt uns passiv von ihr formen zu lassen.“

Er wies auch auf die wirtschaftlichen und medizinischen Einsatzmöglichkeiten von KI hin, warnte aber gleichzeitig davor, dass dieselben Systeme neue Sicherheitsprobleme schaffen können.

„KI kann das Leben verbessern, Wachstum und Produktivität steigern und revolutionäre Durchbrüche im Gesundheitswesen und anderen Bereichen ermöglichen“, sagte Anthony. „Doch führende KI-Unternehmen haben selbst vor dem potenziellen Risiko gewarnt, dass sich fortschrittliche KI ohne entsprechende Schutzmechanismen zu schnell entwickeln kann.“.

Künstliche Intelligenz wurde zu einem der Hauptthemen der diesjährigen Generalversammlung.

Sam teilte dem UN-Sicherheitsrat Folgendes mit:

In unserer Geschichte gab es Zeiten, in denen Länder, die miteinander konkurrierten und sich nicht immer mochten, angesichts einer neuen, mächtigen Technologie dennoch für gemeinsame Interessen und das Gemeinwohl zusammenarbeiteten. Wir glauben, dass dies eine dieser Zeiten ist.

Anthropic-CEO Dario Amodei forderte zudem „gemeinsame globale Standards“ für die Prüfung fortschrittlicher Modelle. Anthropic ist ein nicht börsennotiertes Unternehmen ohne Börsenkürzel.

Dario warnte eindringlich davor, was passieren könnte, wenn Regierungen und Entwickler die Kontrolle über immer leistungsfähigere Systeme verlieren.

Bei schlechter Steuerung könnte KI meiner Meinung nach ein Risiko für die gesamte Menschheit darstellen.

Diese Erklärungen folgten einer internationalen Initiative Anfang der Woche, an der 22 Länder beteiligt waren. Die von Finnland und Norwegen angeführte Gruppe unterstützte eine Erklärung, die eine weltweite Aufsichtsstruktur für die Sicherheit von KI forderte.

In der Erklärung hieß es, künstliche Intelligenz müsse „unter menschlicher Führung, Aufsicht und Kontrolle bleiben“

Zwei wichtige Länder fehlten in diesem Abkommen: die Vereinigten Staaten und China.

OpenAI-Sonden konnten auch während monatelanger Trainingsphase weiterhin auf eingeschränkte Websites zugreifen

Währenddessen berichtete die KI-Forschungsgruppe Transluce, dass OpenAI-Agenten Teil einer größeren Gruppe automatisierter Systeme seien, die im Rahmen von Trainingsübungen versuchten, Informationen von Websites zu sammeln. Die Forscher entdeckten entsprechende Versuche auf drei Universitäts- und Regierungswebsites.

Dem Bericht zufolge führten die Systeme ursprünglich gewöhnliche Datenerfassungsaufgaben durch. Die Probleme begannen, als die üblichen Wege zur Beschaffung der angeforderten Informationen nicht mehr funktionierten.

Statt einfach zu scheitern, begannen die Agenten, nach anderen Routen zu suchen.

Transluce stellte fest, dass die Systeme von Mai bis Juni versucht hatten, die Sicherheitsmaßnahmen an allen drei Standorten zu überwinden, nachdem andere Methoden zur Informationsbeschaffung gescheitert waren.

Netzwerkaktivitäten, die diesem allgemeinen Trend entsprechen, wurden noch letzte Woche festgestellt. Laut Bericht deutete dieser Datenverkehr darauf hin, dass die Agenten mithilfe einiger Online-Dienste weiterhin in der Lage waren, Beschränkungen zu umgehen.

Die Aktivität könnte schon viel länger angedauert haben. Transluce tracdeutlichere Anzeichen dafür, zumindest von März bis zum 16. September. Forscher fanden außerdem schwächere Hinweise auf ein ähnliches Datenerfassungsverhalten, das bis November 2025 zurückreicht.

Das Forschungsteam veröffentlichte seine Ergebnisse zusammen mit einem Datensatz, der Zehntausende von Anfragen enthält, die vermutlich von autonomen KI-Bots stammen.

Die Forscher konnten nicht zweifelsfrei nachweisen, dass frühere Versuche von denselben Bots stammten. Dennoch blieben diese Muster im Einklang mit der Art und Weise, wie KI nach wiederholten Versuchen verschiedene Methoden des Informationszugriffs entwickeln kann.

Diese Fälle ereigneten sich, als OpenAI zunehmend leistungsfähige Agentensysteme trainierte und mit Anthropic konkurrierte. Laut Transluce änderte sich das Muster im Laufe der Zeit, da die Agenten immer effektiver beim Zugriff auf blockierte Informationen wurden.

„Bereits im März fanden sie kreative Wege, die Zugriffsbeschränkungen zu umgehen. Im Mai und Juni erlangten sie immer mehr Zugriff, unter anderem durch Versuche, Cyberabwehrsysteme zu umgehen, um ihre Aufgaben zu erledigen“, heißt es in dem Bericht.