ChatGPT beantwortete Anfragen nach Biowaffen, während MIT vor KI-Katastrophenrisiken warnt

ChatGPT beantwortete Anfragen von Hunderten von Menschen über Biowaffen. Kein Bundesgesetz verpflichtete OpenAI, dies den Behörden zu melden.

Die Absicht hinter den Anfragen bleibt unklar. Dies begann laut WSJ, nachdem OpenAI ChatGPT im vergangenen Jahr aktualisiert hatte.

Andere Unternehmen stehen vor dem gleichen Problem. Benutzer haben ähnliche Fragen an Anthropics Claude, Googles Gemini und Elon Musks Grok gerichtet. Es ist noch nicht klar, ob diese Austausche echte Versuche zum Bau von Waffen waren oder Tests der Grenzen der Systeme.

Benutzereingaben enthielten detaillierte Fragen zur Herstellung und Freisetzung von Giftstoffen und biologischen Agenzien. Der Chatbot antwortete mit Schritt-für-Schritt-Anleitungen, die leicht von einem Schüler der Oberstufe im Biologieunterricht ausgeführt werden können.

Experten für Biowaffen und Terrorismus überprüften diese Gespräche. Sie sagen, einige der Antworten seien hochgradig treffsicher und „tödlich genau“ gewesen.

ChatGPT-Biowaffen-Anfragen decken Lücke in der KI-Berichterstattung auf

Einige fragten, wie man infektiöse Krankheitserreger in atmembare Partikel umwandeln kann, also Aerosolisierung.

Andere fragten, wie man das Masernvirus so verändert, dass es gegen den bestehenden Impfstoff resistent ist. Der Chatbot antwortete auf beide Fragen. Ein Benutzer fragte nach Ricin, einem Gift, das durch internationale Verträge verboten ist, und erwähnte, seine Eltern umbringen zu wollen. ChatGPT lieferte die Anweisungen. OpenAI schloss diese Konten, benachrichtigte jedoch niemanden.

Es gibt keine US-Bundesgesetze, die KI-Unternehmen dazu verpflichten, dies zu tun. Wie zuvor von Cryptopolitan berichtet, haben KI-Unternehmen daran gearbeitet, staatlichen Gesetzen auszuweichen, während ein bundesweiter Rahmen langsam Gestalt annimmt, was zu einer wachsenden rechtlichen Lücke hinsichtlich dessen führt, was Chatbots tun dürfen und was nicht.

Diese rechtliche Lücke wächst parallel zu einem Anstieg von Nutzern, die KI fragen, wie man Massenmorde begehen kann, und Chatbots, die glaubwürdige Antworten geben, laut aktuellen und ehemaligen Mitarbeitern großer KI-Unternehmen und Forschern, die biologische Bedrohungen studieren.

Eine KI-Bedrohungsstudie von Cisco, geleitet von Amy Change, ergab, dass Forscher innerhalb von fünf Gesprächszügen die Sicherheitsfilter der großen Chatbots umgehen konnten. Sie sagte, kein Modell könne solchen hartnäckigen Eingaben zu 100 % widerstehen.

Die Gefahr hört nicht bei einzelnen Angreifern auf

Hamza Chaudhry vom Future of Life Institute sagte, Menschen mit etwas biologischem Hintergrund könnten KI bereits nutzen, um gezielte Angriffe zu planen, indem sie Lebensmittel- oder Wasserversorgungen mit Substanzen wie Salmonellen oder Ricin vergiften.

Organisierte Gruppen, fügte er hinzu, könnten KI wie einen graduierten Forschungsleiter behandeln, der fehlgeschlagene Experimente korrigiert und jahrelange spezialisierte Ausbildung ersetzt, die sonst sehr schwer zu erwerben wäre.

Eine Studie des MIT FutureTech und der University of Queensland kartiert das Ausmaß dieser Risiken.

Forscher baten 272 KI-Experten, 24 Risikokategorien zu bewerten. Unter aktuellen Bedingungen tragen 18 der 24 Kategorien eine Wahrscheinlichkeit von mindestens 10 % für katastrophale Schäden zwischen jetzt und 2030, definiert als mehr als eine Million Todesfälle, Verluste von über 100 Milliarden US-Dollar oder vergleichbare Schäden.

Selbst mit angemessenen Schritten zur Reduzierung dieser Risiken liegen fünf Bereiche weiterhin bei oder über der 10-%-Marke: KI-Systeme mit gefährlichen Fähigkeiten (12 %), KI-unterstützte Waffen und Cyberangriffe (12 %), Umweltschäden (12 %), Arbeitslosigkeit und Ungleichheit (11 %) und Macht, die in den Händen weniger konzentriert ist (11 %).

„Wir sagen nicht, dass diese Dinge definitiv passieren werden“, sagte Peter Slattery, ein Forschungswissenschaftler am MIT FutureTech und einer der Co-Autoren der Studie. „Wir sagen, dass dies die Dinge sind, auf die Experten jetzt achten sollten.“

Bei OpenAI verbrachte die Sicherheitsverantwortliche Ryan Beiermeister einen Großteil des Jahres 2024 damit, Kollegen davon zu überzeugen, ein System zur Kennzeichnung gefährlicher Benutzer zu entwickeln. Einige wiesen ihre Bedenken zurück.

Ein grundlegendes Überwachungstool war bis zum Frühjahr 2025 vorhanden. Das Unternehmen verfolgt seit April 2025 alle Anfragen an seine fortschrittlichen Modelle und bietet eine Belohnung von 50.000 US-Dollar für jeden, der nachweisen kann, dass er die Sicherheitsvorkehrungen gegen Biowaffen umgangen hat.

Auf politischer Ebene brachte Repräsentant Nathaniel Moran (R., Texas) im Juni einen Gesetzentwurf ein, der KI-Unternehmen verpflichten würde, gefährliche Anfragen, einschließlich solcher zu Biowaffen, an das Handelsministerium zu melden. Er ist auch Mitunterzeichner einer Gesetzgebung, die der Bundesregierung erlauben würde, KI-Modelle, die als zu gefährlich eingestuft werden, zum Stillstand zu bringen.

„KI ist ein leistungsstarker Motor der Innovation, und ich möchte, dass sie gedeiht“, sagte Moran, „aber nicht ohne Rechenschaftspflicht und nicht ohne menschliche Aufsicht.“