Anthropic lancia un programma di ricompensa per bug da 15.000 dollari per rafforzare la sicurezza dell'intelligenza artificiale

Anthropic, una startup di intelligenza artificiale supportata da Amazon, ha lanciato un programma di bug bounty e pagherà fino a 15.000 dollari per ogni segnalazione chedentdebolezze critiche nei suoi sistemi di intelligenza artificiale. L'iniziativa è uno degli sforzi più ingenti da parte di un'azienda che lavora con modelli linguistici avanzati per il crowdsourcing dei test di sicurezza.

Secondo l'azienda, la ricompensa è mirata ad attacchi di "jailbreak universale", metodi che possono aggirare le misure di sicurezza dell'IA in settori come le armi biologiche e le minacce informatiche. Prima di rendere disponibile al pubblico il suo sistema di mitigazione della sicurezza di nuova generazione, Anthropic prevede di consentire agli hacker etici di testarlo per prevenirne potenziali abusi.

Stiamo ampliando il nostro programma di bug bounty. Questa nuova iniziativa è incentrata sulla ricerca di jailbreak universali nel nostro sistema di sicurezza di nuova generazione.

Offriamo ricompense per nuove vulnerabilità in un'ampia gamma di ambiti, inclusa la sicurezza informatica. https://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) 8 agosto 2024

Iniziato come un'iniziativa su invito, realizzata in collaborazione con HackerOne, il programma bug bounty di Anthropic punta a mettere a frutto le competenze dei ricercatori di sicurezza informaticadente nella correzione delle vulnerabilità nei suoi sistemi di intelligenza artificiale. L'azienda prevede di estenderlo ulteriormente in futuro, offrendo potenzialmente un modello di cooperazione a livello di settore sulla sicurezza dell'intelligenza artificiale.

Ciò avviene mentre la Competition and Markets Authority (CMA) del Regno Unito indaga sull'investimento di 4 miliardi di dollari di Amazon in Anthropic per potenziali problemi di concorrenza. In questo contesto di crescente controllo normativo, concentrarsi sulla sicurezza potrebbe migliorare la reputazione di Anthropic e distinguerla dai concorrenti.

Anthropic stabilisce nuovi standard di sicurezza per l'intelligenza artificiale

Sebbene OpenAI e Google abbiano anche programmi di bug bounty, si concentrano principalmente sulle vulnerabilità software tradizionali piuttosto che su quelle specifiche dell'intelligenza artificiale. Meta è stata criticata per aver adottato quello che alcuni considerano un approccio relativamente chiuso alla ricerca volta a garantire lo sviluppo sicuro di macchine sempre più intelligenti. Prendendo di mira esplicitamente tali problemi e invitando l'analisi esterna, Anthropic stabilisce undent per l'apertura all'interno del settore.

Tuttavia, vi sono dubbi sul fatto che i bug bounty, da soli, possano affrontare efficacemente l'intero spettro di problematiche relative alla sicurezza dei sistemi di apprendimento automatico avanzati. Sebbene siano utili perdente correggere specifiche falle, potrebbero non essere sufficienti a far fronte alle sfide più ampie relative all'allineamento dell'IA e alla sicurezza a lungo termine. Potrebbe essere necessaria una strategia più olistica che preveda test approfonditi, una migliore interpretabilità e potenzialmente nuove strutture di governance per garantire che i sistemi di IA rimangano allineati ai valori umani man mano che diventano più potenti.