ChatGPT beantwortete Fragen zu Biowaffen, während das MIT vor KI-Katastrophen warnt

ChatGPT beantwortete Anfragen von Hunderten von Menschen zu Biowaffen. Es gab kein Bundesgesetz, das OpenAI verpflichtete, dies den Behörden zu melden.

Die Absicht hinter den Anfragen ist weiterhin unklar. Laut WSJ begannen sie, nachdem OpenAI ChatGPT letztes Jahr aktualisiert hatte.

Auch andere Unternehmen stehen vor demselben Problem. Nutzer haben ähnliche Fragen an Claude von Anthropics, Gemini von Google und Grok von Elon Musk gerichtet. Es ist noch unklar, ob es sich dabei um ernsthafte Versuche zur Entwicklung von Waffen oder um Tests der Systemgrenzen handelte.

Die Nutzereingaben enthielten detaillierte Fragen zur Herstellung und Freisetzung von Giften und biologischen Kampfstoffen. Der Chatbot antwortete mit Schritt-für-Schritt-Anleitungen, die problemlos von einemdentder Oberstufe umgesetzt werden können.

Experten für biologische Waffen und Terrorismus haben diese Gespräche ausgewertet. Sie sagen, einige der Antworten seien äußerst treffend und „tödlich genau“ gewesen.

ChatGPT-Biowaffen-Aufforderungen decken Lücke in der KI-Berichterstattung auf

Einige fragten, wie man Krankheitserreger in lungengängige Partikel umwandeln könne, also Aerosolisierung.

Andere fragten, wie man das Masernvirus so verändern könne, dass es gegen den bestehenden Impfstoff resistent sei. Der Chatbot beantwortete beide Fragen. Ein Nutzer fragte nach Rizin, einem nach internationalen Verträgen verbotenen Gift, und erwähnte, dass er seine Eltern töten wolle. ChatGPT lieferte die Anleitung. OpenAI schloss diese Konten, ohne jedoch jemanden zu benachrichtigen.

Es gibt in den USA keine Bundesgesetze, die KI-Unternehmen dazu verpflichten. Wie Cryptopolitan, versuchen KI-Unternehmen, die Gesetze der einzelnen Bundesstaaten zu umgehen, während sich ein bundesweiter Rahmen nur langsam herausbildet. Dadurch entsteht eine wachsende Rechtslücke hinsichtlich der Befugnisse von Chatbots.

Diese rechtliche Lücke wächst parallel zu einer Zunahme von Nutzern, die KI fragen, wie man Massenmorde durchführt, und Chatbots, die glaubwürdige Antworten liefern, so aktuelle und ehemalige Mitarbeiter großer KI-Unternehmen und Forscher, die biologische Bedrohungen untersuchen.

Eine von Amy Change geleitete KI-Bedrohungsstudie bei Cisco ergab, dass Forscher innerhalb von fünf Gesprächsrunden die Sicherheitsfilter der gängigen Chatbots umgehen konnten. Laut Change kann kein Modell solchen hartnäckigen Aufforderungen vollständig widerstehen.

Die Gefahr beschränkt sich nicht auf Einzelangreifer

Hamza Chaudhry vom Future of Life Institute sagte, dass Menschen mit biologischen Vorkenntnissen bereits KI nutzen könnten, um gezielte Angriffe zu planen und Lebensmittel oder Wasserversorgung mit Substanzen wie Salmonellen oder Rizin zu vergiften.

Organisierte Gruppen, fügte er hinzu, könnten KI wie einen Betreuer für Doktorarbeiten behandeln, der fehlgeschlagene Experimente korrigiert und jahrelange spezialisierte Ausbildung ersetzt, die sonst nur sehr schwer zu erlangen wäre.

Eine Studie von MIT FutureTech und der University of Queensland kartiert das Ausmaß dieser Risiken.

Forscher baten 272 KI-Experten, 24 Risikokategorien zu bewerten. Unter den gegenwärtigen Bedingungen bergen 18 dieser 24 Kategorien ein Risiko von mindestens 10 % für katastrophale Folgen bis zum Jahr 2030, defials mehr als eine Million Todesfälle, Verluste von über 100 Milliarden US-Dollar oder vergleichbare Schäden.

Selbst bei angemessenen Maßnahmen zur Reduzierung dieser Risiken liegen fünf Bereiche immer noch bei oder über der 10%-Marke: KI-Systeme mit gefährlichen Fähigkeiten (12%), KI-gestützte Waffen und Cyberangriffe (12%), Umweltschäden (12%), Arbeitslosigkeit und Ungleichheit (11%) sowie die Konzentration der Macht in den Händen weniger (11%).

„Wir sagen nicht, dass diese Dinge defipassieren werden“, sagte Peter Slattery, Wissenschaftler bei MIT FutureTech und einer der Koautoren der Studie. „Wir sagen lediglich, dass dies die Dinge sind, denen Experten jetzt Aufmerksamkeit schenken sollten.“

Bei OpenAI verbrachte die Sicherheitsbeauftragte Ryan Beiermeister einen Großteil des Jahres 2024 damit, ihre Kollegen zum Aufbau eines Systems zur Kennzeichnung gefährlicher Nutzer zu drängen. Einige wiesen ihre Bedenken zurück.

Bis zum Frühjahr 2025 war ein grundlegendes Überwachungsinstrument eingerichtet. Das Unternehmen tracseit April 2025 alle Anfragen zu seinen hochentwickelten Modellen und bietet eine Belohnung von 50.000 US-Dollar für jeden, der nachweisen kann, dass er die Sicherheitsvorkehrungen gegen biologische Waffen umgangen hat.

Im Bereich der KI-Politik brachte der texanische Abgeordnete Nathaniel Moran (Republikaner) im Juni einen Gesetzentwurf ein, der KI-Unternehmen verpflichten würde, gefährliche Anfragen, darunter solche zu Biowaffen, dem Handelsministerium zu melden. Er ist außerdem Mitinitiator eines Gesetzes, das es der Bundesregierung ermöglichen würde, die Abschaltung von KI-Modellen anzuordnen, die als zu gefährlich eingestuft werden.

„KI ist ein starker Motor für Innovation, und ich möchte, dass sie sich weiterentwickelt“, sagte Moran, „aber nicht ohne Verantwortlichkeit und nicht ohne menschliche Aufsicht.“