Anthropic lance un programme de prime de 15 000 $ pour renforcer la sécurité de l'IA

Anthropic, une start-up en intelligence artificielle soutenue par Amazon, a lancé un programme de prime pour les bogues et versera jusqu'à 15 000 $ pour chaque rapport identifiant des vulnérabilités critiques dans ses systèmes d'intelligence artificielle. Cette initiative figure parmi les efforts les plus étendus menés par une entreprise travaillant avec des modèles de langage avancés pour externaliser les tests de sécurité.

Selon l'entreprise, la prime cible les attaques de « jailbreak universel », des méthodes permettant de contourner les mesures de sécurité de l'IA dans des domaines tels que les armes biologiques et les cybermenaces. Avant de rendre son système de mitigation de sécurité de nouvelle génération disponible au public, Anthropic prévoit d'autoriser les hackers éthiques à le tester afin d'empêcher toute utilisation abusive potentielle.

Nous élargissons notre programme de prime pour les bogues. Cette nouvelle initiative vise à identifier les jailbreaks universels dans notre système de sécurité de nouvelle génération.

Nous offrons des récompenses pour des vulnérabilités novatrices dans un large éventail de domaines, y compris la cybersécurité. https://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) Août 8, 2024

Lancé initialement sur invitation en collaboration avec HackerOne, le programme de prime pour les bogues d'Anthropic sollicite les compétences des chercheurs en cybersécurité pour identifier et corriger les vulnérabilités de ses systèmes d'IA. L'entreprise prévoit de l'ouvrir davantage à l'avenir, offrant potentiellement un modèle de coopération à l'échelle du secteur sur la sécurité de l'IA.

Cela survient alors que l'Autorité de la concurrence et des marchés (CMA) du Royaume-Uni enquête sur l'investissement d'Amazon de 4 milliards de dollars dans Anthropic pour des questions potentielles de concurrence. Dans ce contexte de surveillance réglementaire accrue, se concentrer sur la sécurité pourrait renforcer la réputation d'Anthropic et la distinguer de ses concurrents.

Anthropic établit de nouvelles normes de sécurité pour l'IA

Bien qu'OpenAI et Google disposent également de programmes de prime pour les bogues, ils se concentrent principalement sur les vulnérabilités logicielles traditionnelles plutôt que sur celles spécifiques à l'intelligence artificielle. Meta a été critiqué pour avoir adopté une approche considérée par certains comme relativement fermée en ce qui concerne la recherche sur le développement sûr de machines de plus en plus intelligentes. En ciblant explicitement ces problèmes et en invitant un examen externe, Anthropic établit un précédent d'ouverture au sein du secteur.

Cependant, des doutes subsistent quant à la capacité des primes pour les bogues à répondre efficacement à l'ensemble des préoccupations liées à la sécurisation des systèmes d'apprentissage automatique avancés. Bien que précieuses pour identifier et corriger des failles spécifiques, elles ne parviendront peut-être pas à résoudre les défis plus larges de l'alignement de l'IA et de la sécurité à long terme. Une stratégie plus holistique, impliquant des tests approfondis, une meilleure interprétabilité et potentiellement de nouvelles structures de gouvernance, pourrait être nécessaire pour garantir que les systèmes d'IA restent alignés sur les valeurs humaines à mesure qu'ils deviennent plus puissants.