Anthropic lancia un programma di bug bounty da 15.000 dollari per rafforzare la sicurezza dell'IA

Anthropic, una startup AI supportata da Amazon, ha lanciato un programma bug bounty e pagherà fino a 15.000 dollari per ogni rapporto che identifica vulnerabilità critiche nei suoi sistemi di intelligenza artificiale. L'iniziativa è uno degli sforzi più estesi di qualsiasi azienda che lavora con modelli linguistici avanzati per testare la sicurezza tramite crowdsource.

Secondo l'azienda, il bounty mira ad attacchi di "jailbreak universale", metodi che possono aggirare le misure di sicurezza dell'AI in aree come le bioweapon e le minacce informatiche. Prima di rendere disponibile al pubblico il suo prossimo sistema di mitigazione della sicurezza di nuova generazione, Anthropic prevede di consentire agli hacker etici di testarlo per prevenire potenziali abusi.

Stiamo ampliando il nostro programma bug bounty. Questa nuova iniziativa è focalizzata sull'individuazione di jailbreak universali nel nostro sistema di sicurezza di prossima generazione.

Offriamo ricompense per vulnerabilità innovative in una vasta gamma di ambiti, inclusa la cybersecurity. https://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) Agosto 8, 2024

Partita come un'iniziativa solo su invito in collaborazione con HackerOne, il programma di bug bounty di Anthropic cerca le competenze dei ricercatori di cybersecurity nell'identificazione e nella risoluzione delle vulnerabilità nei suoi sistemi di IA. L'azienda prevede di renderlo più accessibile in futuro, potenzialmente offrendo un modello di cooperazione a livello di settore sulla sicurezza dell'IA.

Questo avviene mentre l'Autorità per la Concorrenza e i Mercati del Regno Unito (CMA) indaga sull'investimento di Amazon di 4 miliardi di dollari in Anthropic per potenziali questioni di concorrenza. In questo contesto di maggiore scrutinio normativo, concentrarsi sulla sicurezza potrebbe migliorare la reputazione di Anthropic e distinguerla dai concorrenti.

Anthropic stabilisce nuovi standard di sicurezza per l'IA

Mentre anche OpenAI e Google dispongono di programmi di bug bounty, questi si concentrano principalmente su vulnerabilità software tradizionali piuttosto che su quelle specifiche dell'intelligenza artificiale. Meta è stata criticata per aver adottato un approccio relativamente chiuso verso la ricerca volta a garantire lo sviluppo sicuro di macchine sempre più intelligenti. Targettizzando esplicitamente tali problemi e invitando un esame esterno, Anthropic stabilisce un precedente di trasparenza all'interno del settore.

Tuttavia, ci sono dubbi sul fatto che i bug bounty da soli possano affrontare efficacemente l'intera gamma di preoccupazioni relative alla sicurezza di sistemi di machine learning avanzati. Sebbene siano preziosi per identificare e correggere difetti specifici, potrebbero non riuscire ad affrontare le sfide più ampie riguardanti l'allineamento dell'IA e la sicurezza a lungo termine. Potrebbe essere necessaria una strategia più olistica che includa test estesi, una migliore interpretabilità e potenzialmente nuove strutture di governance per garantire che i sistemi di IA rimangano allineati ai valori umani man mano che diventano più potenti.