Anthropic renonce aux restrictions cachées de Claude Fable 5

Anthropic a présenté ses excuses et retiré la politique qui aurait secrètement limité les performances de Claude Fable 5 pour les développeurs d'IA. Des scientifiques ont averti que cette politique restrictive risquait de rendre les fonctionnalités avancées de l'IA accessibles à un petit nombre d'entreprises, freinant ainsi le développement scientifique mondial.

La décision d'Anthropic, rendue le 10 juin, a des implications bien plus importantes que les actions entreprises par une seule entreprise. Compte tenu de sa valorisation de près de 965 milliards de dollars et de son introduction en bourse imminente, cetdent a mis en lumière une contradiction cruciale au sein du secteur de l'IA : comment les entreprises développant les meilleurs modèles concilient-elles leurs impératifs de compétitivité et une culture de recherche ouverte, moteur d'innovation à l'échelle mondiale ?.

Les restrictions cachées d'Anthropic concernant Claude Fable 5 provoquent l'indignation de l'industrie

Avec le lancement de Claude Fable 5 le 9 juin, Anthropic a rendu publiques quatre catégories de protections, incluant la cybersécurité, la biologie, la chimie et la recherche en IA. Trois de ces catégories fonctionnaient de manière similaire. Lorsqu'une requête sensible était détectée, le système la rejetait catégoriquement ou redirigeait l'utilisateur vers Claude Opus 4.8, son ancienne solution phare, avec une alerte.

Cependant, la quatrième catégorie se distinguait des autres. Face aux requêtes concernant l'IA émergente, Fable 5 dégradait la qualité de ses résultats sans avertir l'utilisateur. D'après un article de Fortune relatant cette annonce, l'entreprise a décrit des interventions visant à limiter les performances du système sans les dévoiler. Tous les détails sont disponibles dans la fiche technique du système d'Anthropic, un document de 319 pages.

Selon Anthropic, la probabilité que cette restriction soit appliquée était d'environ 0,03 %. Mais le principe lui-même inquiétait bien plus les chercheurs que ce pourcentage.

« Nous avons fait le mauvais choix, et nous nous excusons de ne pas avoir trouvé le bon équilibre », aurait expliqué Anthropic.

Les critiques affirment que les restrictions imposées à Claude Fable 5 menacent la recherche indépendantedent IA

Ces critiques provenaient de personnes rarement d'accord. Les partisans de l'open source, les chercheurs en sécurité travaillant avec l'IA et même d'anciens employés d'Anthropic ont tous réagi quelques heures seulement après la publication de la fiche système.

Will Brown, responsable de la recherche chez Prime Intellect, une startup spécialisée en IA, a déclaré que cette politique donnait l'impression que l'entreprise « commençait à se saboter ». Il a ajouté qu'un nombre croissant d'entreprises évaluent la sécurité et la fiabilité des systèmes de pointe. Cette dégradation insidieuse des performances pourrait potentiellement compromettre leur processus de vérification.

Nathan Lambert, chercheur spécialisé dans les modèles ouverts et ancien directeur de l'Institut Allen pour l'IA, a été encore plustrondans sa déclaration. Sur X, il a affirmé que cette politique « présente clairement Anthropic comme anti-science, et donc anti-progrès et anti-sécurité ».

Jeremy Howard, cofondateur d'AnswerDotAI, a présenté le problème comme une lutte d'influence. Les chercheurs d'Anthropic pourraient toujours utiliser le modèle sans restriction en interne, a-t-il affirmé, ce qui signifie que la recherche en IA continuerait de progresser tandis que les chercheurs externes prendraient du retard. Il a déclaré : « La recherche en IA progresse et le déséquilibre des pouvoirs s'accentue. »

Même d'anciens employés d'Anthropic ont donné leur avis. Behnam Neyshabur, qui a codirigé l'initiative de l'entreprise sur les scientifiques en IA, a déclaré que restreindre ces capacités « ralentit fondamentalement le progrès scientifique et technologique et a un impact globalement négatif sur l'humanité »

Quel impact cela pourrait-il avoir sur l'introduction en bourse d'Anthropic ?

L'incidentdent survenu à un moment particulièrement délicat pour Anthropic. L'entreprise sesdentdocuments d'introduction en bourse le 1er juin, levant 65 milliards de dollars pour une valorisation implicite de 965 milliards de dollars. Dans ce cas précis, la valorisation dépend fortement de la confiance des entreprises clientes et de la communauté scientifique.

Indépendamment de la controverse liée à la recherche en IA, la sortie de Fable 5 a suscité des critiques sur un autre point. Les filtres biologiques robustes utilisés par le modèle l'ont empêché de répondre aux questions concernant les membranes cellulaires et les mitochondries, des sujets généralement enseignés au lycée. Selon certains témoignages, il était impossible de faire décrire au modèle le fonctionnement des vaccins à ARNm et les causes du rhume des foins, alors qu'il n'avait aucune difficulté à aborder les questions de TNT et de risques liés aux mots de passe.

Microsoft a également restreint l'utilisation de Fable 5 par son personnel en raison de problèmes de conservation des données liés aux nouvelles politiques de conservation de classe Mythos mises en place par Anthropic. La durée de conservation des invites et des résultats est fixée à 30 jours pour des raisons de confiance et de sécurité, tandis que les contenus signalés sont conservés pendant une durée maximale de deux ans.

Et ensuite ?

Suite à cette modification de sa politique, Anthropic a annoncé que Fable 5 rendra ses mesures de sécurité relatives au développement de l'IA plus transparentes. Si le système détecte que l'utilisateur mène des recherches de pointe en IA, il pourra soit refuser sa requête, soit basculer vers un autre système, et en informer l'utilisateur dans les deux cas.

Anthropic a reconnu un compromis. Puisque la mesure de protection est désormais visible, l'entreprise n'a d'autre choix que de l'appliquer plus largement. Cela signifie que des requêtes plus anodines seront bloquées. L'entreprise a déclaré travailler à l'amélioration de la précision de son classificateur. Cette affaire a mis en lumière un problème d'une ampleur encore plus grande. Dans la mesure où les capacités des modèles d'IA augmentent, les coûts de formation grimpent et la tentation de limiter l'accès des concurrents à ces outils s'accroît. La question de savoir si le revirement rapide d'Anthropic feradent ou ne fera que retarder la prochaine tentative de restriction déguisée dépendra de la réaction du reste du secteur.