Un chercheur de premier plan en sécurité de l'IA démissionne d'Anthropic avec un avertissement cryptique

Mrinank Sharma, chercheur principal en sécurité chez Anthropic, a annoncé sa démission de l'entreprise cette semaine dans un post sur X. Cette décision semble être motivée par ses inquiétudes concernant l'état actuel de l'IA et du monde

Mrinank Sharma a dirigé l'équipe de recherche sur les garde-fous chez Anthropic, une entreprise d'intelligence artificielle majeure dont le modèle de langage large (LLM), Claude, est largement considéré comme un concurrent de premier plan du ChatGPT d'OpenAI. Le départ de Sharma a été assez soudain, car l'équipe des garde-fous n'a été officiellement lancée qu'en février de l'année dernière. La mission principale de cette équipe était d'identifier, de comprendre et d'aider à atténuer les risques associés aux systèmes d'IA déployés par Anthropic, tels que Claude.

Ce départ soudain d'un chercheur principal en sécurité au sein de l'une des plus grandes entreprises américaines d'IA a suscité une grande controverse sur les réseaux sociaux. Peut-être la partie la plus notable de la lettre de démission a été lorsque Sharma a averti cryptiquement que «le monde est en péril». Il a attribué cela «non seulement à l'IA ou aux armes biologiques», mais à «une série entière de crises interconnectées qui se déroulent en ce moment même». Cela a été interprété par beaucoup comme un avertissement concernant les risques existentiels liés aux avancées de l'IA. La démission de Sharma s'inscrit dans une tendance plus large, préoccupante et accélérée de démissions d'employés de haut profil dans les entreprises d'IA récemment.

Interprétation de la lettre de démission de Sharma

Mrinank Sharma a commencé sa lettre en évoquant brièvement son parcours et ce qui l'inspire, notamment « une volonté de prendre des décisions difficiles et de défendre ce qui est bon ». Il a également parlé de ses contributions à Anthropic, notamment le développement et le déploiement de défenses « pour réduire les risques liés au bioterrorisme assisté par l'IA », ainsi que la rédaction de l'un des premiers cas de sécurité de l'IA. Son dernier projet consistait à « comprendre comment les assistants IA pourraient nous rendre moins humains ou déformer notre humanité ».

Cependant, la partie de sa lettre qui a suscité le plus d'inquiétude était le troisième paragraphe. Bien qu'il n'ait pas directement accusé Anthropic de faute ou affirmé clairement que l'IA allait tuer tout le monde, il a utilisé un langage philosophique pour expliquer sa démission. Il a déclaré : « Nous semblons atteindre un seuil où notre sagesse doit croître à mesure que notre capacité à influencer le monde augmente, sinon nous en subirons les conséquences ». Cela a été suivi par ses mots : « J'ai maintes fois constaté à quel point il est difficile de laisser véritablement nos valeurs guider nos actions ». Il a également décrit un monde en péril face à une série de crises interconnectées, qu'il a qualifiées dans une note de bas de page de « poly-crise » sous-tendue par une « méta-crise ».

Ce langage suggère que son départ de Anthropic a été déclenché davantage par une divergence philosophique que par tout type de conflit interne au sein de l'entreprise. En qualifiant le moment actuel de « poly-crise » sous-tendue par une « méta-crise », Sharma semble pointer vers un problème structurel beaucoup plus vaste auquel la société et, par extension, le développement de l'IA sont confrontés. La technologie progresse plus vite que la sagesse collective, et les systèmes et pouvoirs actuels qui gèrent et influencent son développement ne sont pas correctement équipés pour le faire dans l'état actuel du monde.

L'enseignement principal de la lettre de Sharma

L'enseignement plus large de la lettre de démission de Sharma est à la fois multifacette et existentiel. D'une part, il semble croire qu'il existe un problème fondamental dans la façon dont les entreprises technologiques naviguent l'accélération du développement de l'intelligence artificielle au sein d'un système concurrentiel. Les puissances mondiales sont engagées dans une course aux armements pour se surpasser mutuellement dans le domaine de l'IA et des autres avancées technologiques, avec les dépenses mondiales en technologie destinées à atteindre 5,6 billions de dollars en 2026. Cela signifie que les entreprises d'IA ne font pas que innover et créer des produits, mais constituent également un composant crucial du conflit géopolitique. De plus, ces entreprises ont une responsabilité fiduciaire de bien performer pour leurs actionnaires, créant ainsi une incitation à surpasser leurs rivaux en matière d'avancées technologiques.

Cela favorise un environnement où les principes et procédures de sécurité doivent également s'aligner sur les pressions du marché, la compétitivité nationale et les attentes des investisseurs. Pourtant, alors que les entreprises d'IA se développent rapidement et améliorent leurs capacités, elles doivent identifier, comprendre et atténuer les risques qui en découlent. Le problème que semble aborder Sharma est que le système actuel dans lequel opèrent les entreprises d'IA privilégie naturellement la croissance par rapport à la sécurité et aux considérations éthiques. Les implications de cette dynamique sont profondément existentielles et constituent une grande source d'inquiétude. Un homme comme Sharma, qui semble être d'une bonne intégrité, ne pourrait tout simplement pas continuer à opérer dans ce système sans compromettre ses valeurs, ce qui l'a conduit à s'en retirer entièrement.