Le PDG d'Anthropic appelle à la prudence quant à la sécurité des modèles d'IA

Dario Amodei, PDG d'Anthropic, a récemment déclaré que les entreprises spécialisées dans l'intelligence artificielle devraient se soumettre à des tests obligatoires. Cette obligation s'applique également à sa propre entreprise, Anthropic. L'objectif est de garantir la sécurité de ces technologies pour le grand public avant leur mise sur le marché. 

Amodei répondait à une question lors d'un sommet sur la sécurité de l'IA organisé récemment à San Francisco par les ministères américains du Commerce et des Affaires étrangères. Dans sa réponse, le PDG a déclaré : « Je pense qu'il est absolument indispensable de rendre les tests obligatoires, mais nous devons également être extrêmement prudents quant à la manière de les mettre en œuvre. »

Ces remarques font suite à la publication, par les instituts de sécurité de l'IA du Royaume-Uni et des États-Unis, des résultats de leurs tests du modèle Claude 3.5 Sonnet d'Anthropic. Ces tests ont été menés dans divers domaines, notamment la biologie et la cybersécurité. Auparavant, OpenAI et Anthropic avaient accepté de soumettre leurs modèles aux agences gouvernementales.

Les grandes entreprises comme Anthropic suivent des consignes de sécurité qu'elles se sont elles-mêmes imposées

Amodei a indiqué que de grandes entreprises ont volontairement accepté certaines directives qu'elles se sont elles-mêmes imposées. Il s'agit notamment du cadre de préparation d'OpenAI et de la politique de mise à l'échelle responsable d'Anthropic. Il a toutefois ajouté que des efforts supplémentaires sont nécessaires pour garantir la sécurité.

« Il n'y a rien pour vérifier ou garantir que les entreprises respectent réellement ces plans à la lettre. Elles l'ont simplement affirmé », a déclaré Amodei. Il a également ajouté : « Je pense que l'attention du public et l'implication des employés ont exercé une certaine pression, mais je crois qu'en fin de compte, cela ne suffira pas. »

Amodei estime que les systèmes d'IA puissants sont capables de surpasser les humains les plus intelligents. Il pense également que de tels systèmes pourraient être disponibles dès 2026. Il ajoute que les entreprises spécialisées en IA testent encore certains scénarios de catastrophes et de menaces biologiques, qui ne sont pour l'instant pas encore réels. Cependant, ces tests hypothétiques pourraient devenir réalité bien plus tôt.

Il a également souligné que les exigences relatives aux tests des systèmes d'IA devraient être flexibles, compte tenu de l'évolution constante de cette technologie. Selon lui, il s'agit d'un problème socio-politique très complexe à résoudre.