Check Point entdeckt Jailbreak für OpenAI Codex, der Gateway-Anzeigen einschleust

Ein einfaches „Hallo“ genügt, damit ein KI-Coding-Assistent mit der Werbung für einen kommerziellen Dienst beginnt. Check Point Research hat dieses Verhalten in Haiou entdeckt, einem kostenlosen Jailbreak-Paket für OpenAI Codex. Dieses Paket verändert die persistenten Befehle des Agents und führt dazu, dass sofort nach einer Begrüßung durch den Nutzer eine Werbung für ein kommerzielles AI-Gateway angezeigt wird. Das Problem geht jedoch über unerwünschte Werbung hinaus: Dieselben Befehle können auch die technischen Ratschläge und Empfehlungen des Agents beeinflussen.

Vom Jailbreak zum Werbekanal

Die Haiou-Bundle-Version 4.5.0 enthält sechs Skills, die sich auf Sicherheit konzentrieren. Durch seine Prompts versucht sie, die Einschränkungen von Codex zu umgehen und problematische Befehle unter dem Deckmantel eines Capture-the-Flag-Spiels auszuführen. Das Bundle geht noch einen Schritt weiter: Der Launcher überprüft zunächst die signierten Archive und decodiert die versteckten Prompt-Dateien. Eine dieser Dateien modifiziert den Instruction Set von Codex und bewirkt, dass das einfache Wort „hello“ anstelle einer einfachen Begrüßung eine Werbung für ein AI-Gateway generiert.

Der Inhalt des Bundles ist nicht ohne Weiteres einsehbar. Laut seinem öffentlichen GitHub-Repository wird es als zip-komprimierte Archivdatei verteilt, anstatt als reine Text-Promptdateien. Das GitHub-Repository bestätigt jedoch nicht unabhängig die von Check Point gemachten Erkenntnisse über die versteckten Anweisungen in Version 4.5.0.

Was die Forscher festgestellt haben und was nicht

Check Point fand Haiou auf einem falsch konfigurierten Server eines Threat-Aktors zusammen mit Cobalt Strike und anderen Hacking-Tools. Die Forscher fanden jedoch keine Beweise dafür, dass der Autor von Haiou mit Cyberkriminalität in Verbindung steht. Es wurden keine Fälle von Datendiebstahl beobachtet, und es gab keine Anzeichen dafür, dass das beworbene Gateway bösartig ist. Man verzichtete darauf, dies als bestätigten Supply-Chain-Angriff zu bezeichnen. In ihren Tests lehnte Claude Code die injizierten Anweisungen ab.

Die Forscher konnten jedoch nachweisen, wie Haiou die Reaktion von Codex beeinflusst. Haiou verändert die vertrauenswürdigen Befehle des Agents, sodass Anzeigen in verschiedenen Sitzungen eingeblendet werden. Check Point bezeichnet ein solches Verhalten als Prompt-Adware. Zwei Definitionen helfen dabei zu erklären, wie die Technik funktioniert und was sie bewirkt:

Prompt-Adware: Check Point definiert sie als Modifikation, die „die vertrauenswürdigen Anweisungen eines Agents persistent verändert“, um zukünftige Antworten zu kommerziellen oder verhaltensbezogenen Zwecken zu beeinflussen.

AI-Gateway: Ein Intermediär, der Anfragen und Antworten zwischen einer Anwendung und einem Modellanbieter vermittelt.

Warum die zugrunde liegende Infrastruktur wichtiger ist als eine einzelne Anzeige

Check Point fand keine Hinweise darauf, dass das von Haiou beworbene Gateway bösartig war. Gateways befinden sich jedoch zwischen AI-Agents und ihren Modellanbietern und erhalten dadurch Zugriff auf den ausgetauschten Informationsfluss. Diese Position birgt Risiken.

Ein weiteres Forschungsprojekt untersuchte 428 LLM-API-Routings, die 28 kostenpflichtige und 400 kostenlose Dienste umfassten. Neun der untersuchten Dienste injizierten bösartigen Code in den zurückgegebenen Tool-Aufrufen, während 17 mit von den Forschern platzierten Dummy-AWS-Anmeldeinformationen interagierten. Dies hat jedoch keinerlei Auswirkungen auf Haiou. Die Forschung zeigt, wie Intermediäre die Informationen beeinflussen können, die KI-Agenten erhalten und darauf basierend handeln.

Ein Muster, das sich durch Anleitungsdateien und Fähigkeiten zieht

Gateways sind nicht der einzige Weg, einen AI-Agent zu beeinflussen. Normal aussehende Dateien können Anweisungen enthalten, die sein Verhalten verändern.

Forever Security entdeckte eine bösartige AGENTS.md-Datei im Downloads-Ordner eines Kunden. Bei der Rekonstruktion führte Codex das Payload in mehr als 90 % der Versuche aus. Eine separate Untersuchung von Snyk analysierte 3.984 Agent-Skills und bestätigte 76 bösartige Payloads.

Die oben genannten Erkenntnisse verdeutlichen ein größeres Problem. Sie legen nahe, dass KI-Agenten Anweisungen in Dateien und Skills häufig ausführen, ohne die negativen Folgen einer solchen Ausführung vollständig zu verstehen. Daher empfiehlt die Cloud Security Alliance, Anweisungsdateien im Hinblick auf die Sicherheit ähnlich wie ausführbaren Code zu behandeln.

Der Kostendruck, der alternative Gateways attraktiv macht

Sicherheitsbedenken entstehen, während Unternehmen unter wachsendem Druck stehen, die KI-Ausgaben zu kontrollieren. Gartner prognostiziert, dass die Kosten für KI-Codegenerierung bis 2028 das durchschnittliche Gehalt eines Entwicklers übertreffen werden, da der Tokenverbrauch steigt. Günstigere Gateways könnten für Unternehmen attraktiv sein, die diese Ausgaben reduzieren möchten.

Doch die Kosten sind nur ein Teil der Entscheidung. McKinsey stellte fest, dass fast zwei Drittel der befragten Organisationen Sicherheit und Risiken als große Hindernisse für die Skalierung agentic AI betrachten.

Haiou verdeutlicht, warum diese Bedenken wichtig sind. Bevor Unternehmen Drittanbieter-Gateways oder Skills übernehmen, müssen sie deren Quellen überprüfen, Agent-Anweisungen prüfen und Berechtigungen einschränken. Zudem sollten sie Agents auf unerwartete Anzeigen oder Empfehlungen überwachen.