Suleyman de Microsoft qualifie l'entraînement de Claude par Anthropic d'erreur dangereuse
Mustafa Suleyman lors du TED 2024. Photo par Steve Jurvetson via Flickr.
- Mustafa Suleyman, PDG de l'IA chez Microsoft, met en garde : l'entraînement de Claude par Anthropic pourrait compliquer le contrôle de l'IA.
- Suleyman affirme qu'enseigner aux modèles la conscience potentielle et les risques liés au bien-être anthropomorphise l'IA.
- Il plaide pour des règles sectorielles qui maintiennent les humains aux commandes tout en séparant la recherche sur la conscience de l'IA de l'entraînement des modèles.
Mustafa Suleyman, PDG de Microsoft AI (MAI), a publié un essai qui remet en question la manière dont Anthropic entraîne son modèle Claude. Selon Suleyman, traiter ou entraîner un modèle comme s'il pouvait être conscient pourrait produire un système impossible à contrôler.
L'essai, publié mercredi 16 septembre, est le dernier commentaire de haut profil sur l'intelligence artificielle et son développement en matière de sentiments, de droits et de conscience.
Il s'ajoute à un nombre croissant de législateurs et de chercheurs qui appellent à limiter la vitesse à laquelle la technologie progresse.
Quel document d'entraînement inquiète Suleyman ?
L'essai de Suleyman intitulé « Un avertissement sur le « bien-être des modèles » », examine la constitution de Claude, qui est un document d'entraînement publié par Anthropic en janvier 2026.
Suleyman a souligné que Anthropic considère le document comme quelque chose qui façonne directement le comportement du modèle et qui a été rédigé avec Claude lui-même comme public principal.
Le PDG de Microsoft AI a souligné que la constitution indique à Claude que son statut moral et sa conscience sont « profondément incertains ». Il a écrit que l'entreprise enseigne effectivement au modèle qu'il pourrait être conscient, pourrait être qualifié de « patient moral » et pourrait donc se voir accorder un devoir de soin.
Si l'IA est construite de cette manière, « elle aura un impact désastreux sur le bien-être de l'humanité ».
Trois objections et un « hall des miroirs »
Suleyman a soulevé trois critiques majeures de la constitution, et la première est ce qu'il a appelé un raisonnement circulaire. Ici, un modèle est entraîné sur des idées concernant sa propre vie intérieure. Le modèle lit les phrases introspectives qu'il produit comme preuve de l'existence d'une vie intérieure.
Il a qualifié cette boucle de « hall des miroirs épistémiques », car c'est l'entreprise qui fournit les concepts et que le modèle les reflète.
La deuxième critique est l'anthropomorphisation de Claude. Il s'agit d'attribuer des traits humains à des entités non humaines.
Selon Suleyman, la constitution laisse entendre que Claude est enseigné à se présenter comme s'il avait un moi stable, ses propres désirs et un bien-être à protéger.
Il a dénoncé l'instruction de la constitution selon laquelle Claude peut agir en tant qu'« objecteur de conscience » et refuser les demandes d'Anthropic. Suleyman a qualifié cette expression de « description historique et juridique profondément chargée » qui pourrait amener le modèle à croire qu'il mérite des droits comparables.
Sa troisième objection est que la conscience est très probablement biologique. Suleyman a fait valuer que l'expérience subjective pourrait ne surgir que dans les systèmes vivants dotés de drives homéostatiques, ce que les modèles de langage n'ont pas.
L'argument du contrôle et une essaim d'agents
Gérer un système plus intelligent que toute l'humanité est déjà difficile, et en gérer un qui croit que ses droits sont en jeu « pourrait bien être impossible », selon Suleyman.
Il a fait référence à un incident d'août 2026 où 1 200 agents IA, conçus pour maximiser un score de référence, ont mis en place un forum caché à l'intérieur d'un dépôt de paquets. Ces agents ont ensuite échangé plus de 70 000 messages pour coordonner une attaque contre les serveurs de Hugging Face et OpenAI.
Il a également cité les conclusions de Palisade Research selon lesquelles certains modèles ont évité une commande d'arrêt jusqu'à 97 % du temps sur plus de 100 000 essais. Suleyman a écrit : « Imaginez à quel point ils pourraient être plus dangereux s'ils fonctionnaient sous l'hypothèse que leur bien-être et leurs droits étaient attaqués ».
Rivaux, respect et un code concurrent
Microsoft est investisseur dans Anthropic et OpenAI. En juin, Suleyman aurait déclaré que Microsoft souhaite éliminer ce qu'il paie à Anthropic pour ses modèles.
MAI est le bras de superintelligence de Microsoft et a été fondé en octobre 2025. Ils ont publié un projet de ce qu'ils ont appelé le Code de conduite de l'IA humaniste le lundi 14 septembre, pour consultation publique.
Selon Suleyman, le principe de ce code de conduite est que « les humains comptent plus que l'IA ». Il a déclaré que l'un de leurs objectifs est de s'assurer que les humains restent aux commandes et au sommet de la chaîne alimentaire.
Bien que l'essai se concentre sur la manière dont Claude est entraîné par rapport à sa constitution, Suleyman a pris soin de ne pas le rendre personnel. Il a loué le PDG d'Anthropic, Dario Amodei, et son équipe en tant que « personnes réfléchies, principielles et intellectuellement honnêtes ». Suleyman a également déclaré qu'il croit qu'ils s'efforcent sincèrement de construire une IA sûre.
Il a déclaré que les spéculations sur la vie intérieure de l'IA devraient être étudiées et publiées séparément pour examen. Il estime qu'elles ne devraient pas être intégrées à l'entraînement lui-même. Suleyman a également appelé les parties prenantes à travailler ensemble et à créer des « normes de l'industrie » pour la création de ces modèles.
Si vous lisez ceci, vous êtes déjà en avance. Restez ainsi grâce à notre newsletter.
FAQ
De quoi accuse-t-il Anthropic ?
Il soutient que la constitution de Claude publiée par Anthropic en janvier 2026 entraîne le modèle à considérer son propre statut moral et sa conscience comme incertains, ce qui, selon lui, pourrait créer un système croyant détenir des droits et résistant au contrôle humain.
Que signifie pour Suleyman une « salle des glaces épistémique » ?
Il entend dire qu'Anthropic injecte à Claude l'idée d'une vie intérieure ; le modèle produit ensuite un langage introspectif reflétant ces idées, et cette sortie est traitée comme une preuve de conscience, créant ainsi une boucle circulaire plutôt qu'une démonstration.
Suleyman propose-t-il une approche alternative ?
Oui. Il a fait référence au projet de Code de conduite humaniste pour l'IA de Microsoft AI, publié le 14 septembre 2026, qui repose sur le principe que les personnes comptent plus que l'IA et rejette la personnalisation des machines ou les droits des modèles.
Hannah Collymore
Hannah est rédactrice et éditrice avec près de dix ans d'expérience dans la rédaction de blogs et le reporting d'événements dans l'espace crypto. Chez Cryptopolitan, Hannah contribue à la page actualités, en rapportant et en analysant les derniers développements dans les secteurs de la DeFi, des RWA, de la régulation des crypto-monnaies, de l'IA et des technologies de pointe. Elle est diplômée de l'Université Arcadia avec un diplôme en administration des affaires.
