Anthropic startet Bug-Bounty-Programm mit 15.000 US-Dollar Prämie zur Stärkung der KI-Sicherheit

Das von Amazon unterstützte KI-Start-up Anthropic hat ein Bug-Bounty-Programm gestartet und zahlt bis zu 15.000 US-Dollar für jeden Bericht, der kritische Schwachstellen in seinen KI-Systemendent. Diese Initiative ist eines der umfangreichsten Projekte eines Unternehmens, das mit fortschrittlichen Sprachmodellen arbeitet und Sicherheitstests per Crowdsourcing durchführt.

Laut dem Unternehmen zielt die Belohnung auf Angriffe ab, die einen „universellen Jailbreak“ ermöglichen – Methoden, mit denen KI-Sicherheitsmaßnahmen in Bereichen wie Biowaffen und Cyberbedrohungen umgangen werden können. Bevor Anthropic sein Sicherheitssystem der nächsten Generation öffentlich zugänglich macht, plant das Unternehmen, es ethischen Hackern zum Testen zu überlassen, um potenziellen Missbrauch zu verhindern.

Wir erweitern unser Bug-Bounty-Programm. Diese neue Initiative konzentriert sich auf das Aufspüren universeller Sicherheitslücken in unserem Sicherheitssystem der nächsten Generation.

Wir bieten Belohnungen für neuartige Schwachstellen in verschiedensten Bereichen, darunter auch Cybersicherheit. https://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) 8. August 2024

Das Bug-Bounty-Programm von Anthropic, das ursprünglich als exklusive Initiative in Zusammenarbeit mit HackerOne startete, sucht nach Cybersicherheitsexperten, die Schwachstellen in den KI-Systemen des Unternehmensdentund beheben. Anthropic plant, das Programm zukünftig breiter zu öffnen und damit potenziell ein Modell für branchenweite Kooperation im Bereich KI-Sicherheit zu schaffen.

Dies geschieht vor dem Hintergrund, dass die britische Wettbewerbs- und Marktaufsichtsbehörde (CMA) Amazons 4-Milliarden-Dollar-Investition in Anthropic wegen möglicher Wettbewerbsverstöße untersucht. Angesichts dieser verstärkten regulatorischen Kontrolle könnte die Fokussierung auf Sicherheit den Ruf von Anthropic stärken und das Unternehmen von seinen Mitbewerbern abheben.

Anthropic setzt neue Sicherheitsstandards für KI

Während OpenAI und Google ebenfalls Bug-Bounty-Programme anbieten, konzentrieren sie sich hauptsächlich auf traditionelle Software-Schwachstellen und weniger auf solche, die spezifisch für künstliche Intelligenz sind. Meta wurde dafür kritisiert, einen – aus Sicht mancher – relativ geschlossenen Ansatz in der Forschung zur sicheren Entwicklung immer intelligenterer Maschinen zu verfolgen. Indem Anthropic solche Probleme explizit angeht und externe Untersuchungen dazu einlädt, setzt das Unternehmen eindent für mehr Offenheit in diesem Sektor.

Es bestehen jedoch Zweifel, ob Bug-Bounties allein alle Bedenken hinsichtlich der Sicherheit fortschrittlicher Systeme für maschinelles Lernen wirksam ausräumen können. Zwar sind sie wertvoll für diedentund Behebung spezifischer Schwachstellen, doch sie reichen möglicherweise nicht aus, um die umfassenderen Herausforderungen im Zusammenhang mit der Ausrichtung von KI-Systemen an menschlichen Werten und deren langfristiger Sicherheit zu bewältigen. Eine ganzheitlichere Strategie, die umfangreiche Tests, verbesserte Interpretierbarkeit und gegebenenfalls neue Governance-Strukturen umfasst, könnte erforderlich sein, um sicherzustellen, dass KI-Systeme auch bei zunehmender Leistungsfähigkeit im Einklang mit menschlichen Werten bleiben.