- Anthropic a présenté ses excuses et abandonné une politique cachée concernant Claude Fable 5 qui réduisait discrètement les performances sur certaines requêtes avancées en recherche IA après des critiques généralisées.
- Les chercheurs ont mis en garde contre le fait que ces restrictions pourraient concentrer les capacités de l'IA entre quelques entreprises et ralentir le progrès scientifique indépendant.
- La polémique émerge alors qu'Anthropic se prépare pour une éventuelle introduction en bourse avec une valorisation approchant les 965 milliards de dollars, plaçant sa relation avec la communauté de la recherche sous le feu des projecteurs.
Anthropic s'est excusé et a retiré la politique qui aurait secrètement restreint les performances de Claude Fable 5 pour les développeurs d'IA. Les scientifiques ont mis en garde contre le fait que cette politique restrictive pourrait rendre les fonctionnalités avancées de l'IA accessibles à un petit nombre d'entreprises, entravant la croissance de la science dans le monde entier.
La décision d'Anthropic, prise le 10 juin, a des implications bien plus importantes que les actions prises par une seule entreprise. Compte tenu de sa valorisation de près de 965 milliards de dollars et de son introduction imminente en bourse, cet incident a révélé une contradiction cruciale au sein du secteur de l'IA : comment les entreprises développant les meilleurs modèles gèrent-elles leurs besoins concurrentiels aux côtés d'une culture de recherche ouverte qui stimule l'innovation dans le monde entier.
Les restrictions cachées de Claude Fable 5 chez Anthropic déclenchent l'indignation dans l'industrie
Avec les lancement de Claude Fable 5 le 9, Anthropic a rendu public quatre catégories de protections, notamment la cybersécurité, la biologie, la chimie et la recherche en IA. Trois de ces catégories se sont comportées de manière similaire. Lorsqu'une requête sensible était détectée, le système la rejetait soit complètement, soit redirigeait l'utilisateur vers Claude Opus 4.8, son ancienne offre phare, avec une alerte ouverte.
Cependant, la quatrième catégorie différait des autres. Face à des requêtes sur les nouvelles technologies d'IA, Fable 5 compromettait la qualité de ses réponses sans que l'utilisateur ne s'en aperçoive. Selon le rapport de Fortune sur l'annonce, l'entreprise a décrit des interventions visant à entraver les performances du système sans révéler aucun détail. L'intégralité des informations figure dans la fiche système 319-page d'Anthropic.
Selon Anthropic, la probabilité que cette restriction entre en vigueur était d'environ 0,03 %. Mais ce principe a alarmé bien plus les chercheurs que le pourcentage lui-même.
« Nous avons fait le mauvais compromis et nous nous excusons de ne pas avoir trouvé le bon équilibre », aurait expliqué Anthropic.
Des critiques affirment que les restrictions imposées à Claude Fable 5 menacent la recherche indépendante en IA
Cette critique émane de personnes qui s'accordent rarement. Les défenseurs du code ouvert, les chercheurs en sécurité travaillant sur l'IA et même d'anciens employés d'Anthropic ont tous réagi dans l'heure suivant la publication de la fiche système.
Will Brown, responsable de la recherche chez Prime Intellect, une startup d'IA, a déclaré que cette politique donnait l'impression que l'entreprise « commençait à remonter l'échelle derrière elle ». Il a ajouté qu'un nombre croissant de sociétés évaluent désormais la sécurité et la fiabilité des systèmes de pointe. Cette dégradation discrète des performances pourrait potentiellement saboter leur processus de vérification.
Nathan Lambert, chercheur en modèles ouverts qui a autrefois dirigé les travaux à l'Allen Institute for AI, a été encore plus catégorique dans ses propos. Il s'est exprimé sur X en affirmant que la politique « peint clairement Anthropic comme étant anti-science, et donc anti-progressiste et anti-sécurité ».
Jeremy Howard, cofondateur d'AnswerDotAI, a présenté la question comme une prise de pouvoir concurrentielle. Les chercheurs internes d'Anthropic pourraient toujours utiliser le modèle sans restriction en interne, a soutenu Howard, ce qui signifierait que la frontière de l'IA continuerait d'avancer tandis que les chercheurs extérieurs prendraient du retard. Il a déclaré que « la frontière de l'IA avance et que le déséquilibre de pouvoir s'accroît ».
Même d'anciens collaborateurs d'Anthropic se sont exprimés. Behnam Neyshabur, qui avait précédemment co-dirigé l'initiative scientifique IA de l'entreprise, a publié que restreindre ces capacités « ralentit fondamentalement le progrès scientifique et technologique et est globalement négatif pour l'humanité ».
Comment cela pourrait-il affecter l'introduction en bourse d'Anthropic ?
L'incident survient à une période très délicate pour Anthropic. L'entreprise a déposé confidentiellement les documents relatifs à son introduction en bourse le 1 juin, visant à lever 65 milliards de dollars avec une valorisation implicite de 965 milliards de dollars. Dans ce cas, la valorisation dépend considérablement de la confiance des entreprises et de la communauté scientifique.
En dehors de la controverse liée à la recherche sur l'IA, le lancement de Fable 5 a fait face à d'autres critiques. Les filtres biologiques robustes utilisés par le modèle l'ont empêché de répondre aux questions sur les membranes cellulaires et les mitochondries, qui sont généralement enseignées au lycée. Selon rapports, il était impossible de faire décrire au modèle le fonctionnement des vaccins à ARNm et les causes du rhume des foins, alors qu'il n'avait aucune difficulté à discuter de la TNT et des risques liés aux mots de passe.
Microsoft a également restreint l'utilisation de Fable 5 par son personnel en raison de problèmes de conservation des données liés aux nouvelles politiques de rétention de classe Mythos introduites par Anthropic. La période de rétention des invites et des sorties est fixée à 30 jours pour des raisons de confiance et de sécurité, avec une conservation du contenu signalé pouvant aller jusqu'à deux ans.
Que se passe-t-il ensuite ?
Avec la politique modifiée, Anthropic a indiqué que Fable 5 rendra visibles ses garde-fous de développement de l'IA. Si le système détecte que l'utilisateur mène des recherches sur l'IA de pointe, il peut soit refuser sa demande, soit basculer vers un autre système et informer l'utilisateur dans les deux cas.
Anthropic a reconnu un compromis. Puisque la mesure de sécurité est désormais visible, l'entreprise n'a d'autre choix que de l'appliquer plus largement. Cela signifie que des requêtes plus anodines seront bloquées. L'entreprise a indiqué travailler à améliorer la précision du classificateur. Cette affaire a mis en lumière un problème d'une ampleur encore plus grande. À mesure que les capacités des modèles d'IA augmentent, les coûts d'entraînement s'alourdissent et la tentation de limiter l'accès aux concurrents à ces outils grandit. Que le revirement rapide d'Anthropic établisse un précédent ou retarde simplement la prochaine tentative de restriction covert dépendra de la manière dont le reste de l'industrie réagira.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
FAQ
Quelle était la politique de recherche sur l'IA secrète d'Anthropic ?
Anthropic a conçu Claude Fable 5 pour dégrader invisiblement la qualité de ses sorties lorsqu'il détectait que les utilisateurs travaillaient sur des tâches de développement d'IA de pointe, contrairement à ses autres mesures de sécurité qui refusaient ou redirigeaient visiblement les requêtes. L'entreprise a annulé cette politique après une vive controverse et a déclaré que les futures mesures de sécurité dans ce domaine seraient visibles pour les utilisateurs.
Pourquoi les chercheurs se sont-ils opposés aux restrictions ?
Les critiques ont fait valoir que la politique permettrait aux chercheurs d'Anthropic d'utiliser des modèles sans restriction, tandis que les scientifiques extérieurs recevraient des résultats dégradés, concentrant ainsi les capacités d'IA entre quelques grands laboratoires et risquant potentiellement de saper les entreprises tierces d'évaluation de la sécurité qui testent les modèles de pointe.
Comment Anthropic a-t-il répondu à la controverse ?
Anthropic a présenté ses excuses, affirmant « nous avons fait le mauvais compromis », et a modifié sa politique de sorte que les garde-fous du développement de l'IA soient désormais visibles pour les utilisateurs. Cela signifie que le modèle refusera ouvertement certaines requêtes ou redirigera les utilisateurs vers un modèle moins performant, plutôt que d'affaiblir silencieusement ses réponses.
Avertissement. Les informations fournies ne constituent pas des conseils en matière de trading. Cryptopolitan.com décline toute responsabilité concernant les investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement une recherche indépendante et/ou une consultation avec un professionnel qualifié avant de prendre toute décision d'investissement.
Ashish Kumar
Ashish Kumar est un journaliste spécialisé dans la crypto et la finance, avec huit ans d'expérience en rédaction. Il couvre l'actualité des marchés cryptographiques, de la réglementation, de la DeFi et des écosystèmes d'échanges. Il a travaillé pour Coingape, Todayq et Newsroompost. Ashish détient un PGDP en journalisme anglais de l'IIMC. Il a également interviewé des personnalités du secteur telles qu'Arthur Hayes, Yat Siu, Austin Federa, et bien d'autres.
