Anthropic lance un programme de primes aux bogues de 15 000 $ pour renforcer la sécurité de l’IA

Anthropic, une start-up spécialisée en intelligence artificielle soutenue par Amazon, a lancé un programme de primes aux bogues et offrira jusqu'à 15 000 $ pour chaque rapportdentdes failles critiques dans ses systèmes d'intelligence artificielle. Cette initiative est l'une des plus ambitieuses jamais entreprises par une société travaillant avec des modèles de langage avancés pour externaliser les tests de sécurité auprès du grand public.

Selon l'entreprise, la prime vise les attaques de type « jailbreak universel », des méthodes permettant de contourner les mesures de sécurité de l'IA dans des domaines tels que les armes biologiques et les cybermenaces. Avant de rendre son système de sécurité de nouvelle génération accessible au public, Anthropic prévoit de permettre à des hackers éthiques de le tester afin de prévenir tout abus potentiel.

Nous étendons notre programme de primes aux bogues. Cette nouvelle initiative vise à identifier les failles de sécurité universelles dans notre système de sécurité de nouvelle génération.

Nous offrons des récompenses pour la découverte de nouvelles vulnérabilités dans de nombreux domaines, y compris la cybersécurité. https://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) 8 août 2024

Lancée initialement sur invitation en collaboration avec HackerOne, l'initiative de primes aux bogues d'Anthropic vise à exploiter les compétences des chercheurs en cybersécurité pourdentet corriger les vulnérabilités de ses systèmes d'IA. L'entreprise prévoit d'élargir son accès à l'avenir, offrant potentiellement un modèle de coopération sectorielle en matière de sécurité de l'IA.

Cette situation survient alors que l'Autorité britannique de la concurrence (CMA) enquête sur l'investissement de 4 milliards de dollars d'Amazon dans Anthropic, en raison de possibles problèmes de concurrence. Dans ce contexte de surveillance réglementaire accrue, mettre l'accent sur la sécurité pourrait renforcer la réputation d'Anthropic et la distinguer de ses concurrents.

Anthropic établit de nouvelles normes de sécurité pour l'IA

Bien qu'OpenAI et Google proposent également des programmes de primes aux bogues, ceux-ci se concentrent principalement sur les vulnérabilités logicielles classiques plutôt que sur celles spécifiques à l'intelligence artificielle. Meta a été critiquée pour son approche jugée relativement fermée de la recherche visant à garantir le développement sécurisé de machines toujours plus intelligentes. En ciblant explicitement ces problèmes et en invitant à leur examen externe, Anthropic fait figure dedent en matière d'ouverture dans le secteur.

Cependant, on peut se demander si les programmes de primes aux bogues peuvent à eux seuls répondre efficacement à l'ensemble des préoccupations liées à la sécurité des systèmes d'apprentissage automatique avancés. Bien qu'utiles pourdentet corriger des failles spécifiques, ils ne permettent pas toujours de s'attaquer aux défis plus vastes que représentent l'alignement de l'IA sur les valeurs humaines et sa sécurité à long terme. Une stratégie plus globale, incluant des tests approfondis, une meilleure interprétabilité et potentiellement de nouvelles structures de gouvernance, pourrait s'avérer nécessaire pour garantir que les systèmes d'IA restent alignés sur les valeurs humaines à mesure qu'ils gagnent en puissance.