Un chercheur de haut niveau en sécurité de l'IA démissionne d'Anthropic avec un avertissement énigmatique

Mrinank Sharma, chercheur principal en sécurité chez Anthropic, a annoncé cette semaine sa démission de l'entreprise dans un message publié sur X. Cette décision semble motivée par ses inquiétudes concernant l'état actuel de l'IA et le monde

Mrinank Sharma dirigeait l' équipe de recherche sur les garanties chez Anthropic, une entreprise d'IA de premier plan dont le modèle de langage à grande échelle (LLM), Claude, est largement considéré comme un concurrent sérieux de ChatGPT. Son départ a été plutôt soudain, l'équipe de recherche sur les garanties n'ayant été officiellement lancée qu'en février de l'année précédente. L'objectif principal de l'équipe était d'identifierdentde comprendre et de contribuer à atténuer les risques associés aux systèmes d'IA déployés par Anthropic, tels que Claude.

Le départ soudain de ce chercheur de haut niveau en sécurité, travaillant pour l'une des plus grandes entreprises américaines d'IA, a suscité une vive polémique sur les réseaux sociaux. L'un des passages les plus marquants de sa lettre de démission est sans doute l'avertissement énigmatique de Sharma : « Le monde est en péril. » Il attribue ce péril « non seulement à l'IA ou aux armes biologiques », mais à « toute une série de crises interconnectées qui se déroulent actuellement ». Nombreux sont ceux qui y ont vu une mise en garde contre les risques existentiels liés aux progrès de l'IA. La démission de Sharma s'inscrit dans une tendance plus large, inquiétante et croissante de démissions de cadres supérieurs d'entreprises d'IA ces derniers temps.

Interprétation de la lettre de démission de Sharma

Mrinank Sharma a commencé sa lettre en évoquant brièvement son parcours et ses sources d'inspiration, notamment « la volonté de prendre des décisions difficiles et de défendre ce qui est juste ». Il a également parlé de sa contribution à Anthropic, notamment du développement et du déploiement de systèmes de défense « pour réduire les risques liés au bioterrorisme assisté par l'IA », et de la rédaction de l'une des premières études de cas sur la sécurité de l'IA. Son projet final portait sur « la compréhension de la manière dont les assistants IA pourraient nous déshumaniser ou pervertir notre humanité »

Cependant, la partie de sa lettre qui a suscité le plus d'inquiétudes était le troisième paragraphe. Sans accuser directement Anthropic de malversations ni affirmer ouvertement que l'IA allait tous nous anéantir, il a employé un langage philosophique complexe pour expliquer sa démission. Il a déclaré : « Il semble que nous atteignions un seuil où notre sagesse doit croître à la mesure de notre capacité à influencer le monde, sous peine d'en subir les conséquences. » Il a ensuite écrit : « J'ai constaté à maintes reprises combien il est difficile de laisser nos valeurs guider nos actions. » Il a également décrit un monde en péril, menacé par une série de crises interconnectées, qu'il a qualifiées en note de bas de page de « polycrise » sous-tendue par une « métacrise »

Ce langage laisse entendre que son départ d' Anthropic était davantage motivé par une divergence philosophique que par un quelconque conflit interne à l'entreprise. En qualifiant la période actuelle de « polycrise » sous-tendue par une « métacrise », Sharma semble pointer du doigt un problème structurel bien plus vaste qui affecte la société et, par extension, le développement de l'IA. La technologie progresse plus vite que la sagesse collective, et les systèmes et pouvoirs actuels qui encadrent et influencent son développement ne sont pas adaptés à la situation mondiale actuelle.

Le principal enseignement à tirer de la lettre de Sharma

La principale leçon à tirer de la lettre de démission de Sharma est à la fois complexe et existentielle. D'une part, il semble croire à un problème fondamental dans la manière dont les entreprises technologiques gèrent l'accélération du développement de l'IA au sein d'un système concurrentiel. Les puissances mondiales se livrent à une véritable course à l'armement pour se surpasser en matière d'IA et d'autres avancées technologiques, les dépenses mondiales dans ce domaine devant atteindre 5 600 milliards de dollars en 2026.Cela signifie que les entreprises spécialisées en IA ne se contentent pas d'innover et de développer des produits, mais constituent un élément crucial des conflits géopolitiques. De plus, ces entreprises ont une obligation fiduciaire de performance envers leurs actionnaires, ce qui les incite à surpasser leurs concurrents en matière de progrès technologique.

Cela crée un environnement où les principes et procédures de sécurité doivent s'adapter aux pressions du marché, à la compétitivité nationale et aux attentes des investisseurs. Cependant, à mesure que les entreprises d'IA se développent et perfectionnent rapidement leurs capacités, elles doiventdent, comprendre et atténuer les risques inhérents à cette expansion. Le problème que semble soulever Sharma est que le système actuel dans lequel évoluent ces entreprises privilégie naturellement la croissance au détriment de la sécurité et des considérations éthiques. Les implications de cette dynamique sont existentiellement profondes et très préoccupantes. Un homme comme Sharma, qui paraît être d'une grande intégrité, ne pouvait tout simplement pas continuer à opérer au sein de ce système sans compromettre ses valeurs, ce qui l'a conduit à s'en retirer complètement.