Anthropic startet 15.000-$-Bug-Bounty-Programm zur Stärkung der KI-Sicherheit

Anthropic, ein von Amazon unterstütztes KI-Start-up, hat ein Bug-Bounty-Programm gestartet und zahlt bis zu 15.000 $ für jeden Bericht, der kritische Schwächen in seinen künstlichen Intelligenz-Systemen identifiziert. Die Initiative ist eine der umfangreichsten Bemühungen eines Unternehmens, das mit fortschrittlichen Sprachmodellen arbeitet, um Sicherheitstests zu crowdsource.

Laut dem Unternehmen zielt die Prämie auf „universelle Jailbreak“-Angriffe ab, also Methoden, die es ermöglichen, KI-Sicherheitsmaßnahmen in Bereichen wie Biowaffen und Cyberbedrohungen zu umgehen. Bevor Anthropic sein Sicherheitsminderungssystem der nächsten Generation der Öffentlichkeit zur Verfügung stellt, planen ethische Hacker, es zu testen, um potenziellen Missbrauch zu verhindern.

Wir erweitern unser Bug-Bounty-Programm. Diese neue Initiative konzentriert sich darauf, Universal-Jailbreaks in unserem nächsten Generation Safety System zu finden.

Wir bieten Belohnungen für neuartige Schwachstellen in einer Vielzahl von Bereichen, einschließlich Cybersicherheit. https://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) August 8, 2024

Das Bug-Bounty-Programm von Anthropic, das zunächst als Einladung-only-Initiative in Zusammenarbeit mit HackerOne gestartet wurde, möchte die Fähigkeiten von Cybersicherheitsforschern bei der Identifizierung und Behebung von Sicherheitslücken in seinen KI-Systemen nutzen. Das Unternehmen plant, es in Zukunft weiter zu öffnen und möglicherweise ein Modell der branchenweiten Zusammenarbeit in der KI-Sicherheit anzubieten.

Dies geschieht vor dem Hintergrund, dass die britische Wettbewerbs- und Marktaufsichtsbehörde (CMA) die 4-Milliarden-Dollar-Investition von Amazon in Anthropic auf potenzielle Wettbewerbsprobleme hin untersucht. Vor diesem Hintergrund verstärkter regulatorischer Aufsicht könnte der Fokus auf Sicherheit den Ruf von Anthropic stärken und es von den Mitbewerbern abheben.

Anthropic setzt neue Maßstäbe in der KI-Sicherheit

Während OpenAI und Google ebenfalls Bug-Bounty-Programme haben, konzentrieren sie sich hauptsächlich auf traditionelle Software-Sicherheitslücken und nicht auf solche, die spezifisch für künstliche Intelligenz sind. Meta wurde dafür kritisiert, einen als relativ geschlossen empfundenen Ansatz bei der Forschung zur sicheren Entwicklung zunehmend intelligenter Maschinen zu verfolgen. Indem Anthropic diese Probleme explizit adressiert und die externe Prüfung einlädt, setzt es einen Präzedenzfall für Offenheit in der Branche.

Allerdings gibt es Zweifel, ob Bug-Bountys allein ausreichen, um das gesamte Spektrum der Bedenken hinsichtlich der Sicherung fortschrittlicher maschinelles Lernsysteme wirksam zu adressieren. Obwohl sie wertvoll sind, um bestimmte Mängel zu identifizieren und zu beheben, können sie möglicherweise die größeren Herausforderungen im Zusammenhang mit der KI-Ausrichtung (Alignment) und der langfristigen Sicherheit nicht bewältigen. Eine ganzheitlichere Strategie, die umfangreiche Tests, verbesserte Interpretierbarkeit und möglicherweise neue Governance-Strukturen umfasst, könnte erforderlich sein, um sicherzustellen, dass KI-Systeme auch bei wachsender Leistungsfähigkeit mit menschlichen Werten im Einklang bleiben.