Le PDG d'Anthropic affirme que les modèles d'IA hallucinent « probablement » moins que les humains

Le PDG d'Anthropic, Dario Amodei, a déclaré que les modèles d'IA actuels hallucinent moins que les humains. Il a également affirmé que ces modèles inventent des choses et les présentent comme vraies, ce qui n'empêchera pas Anthropic de développer une intelligence artificielle générale.

Lors de la conférence de presse organisée jeudi à San Francisco à l'occasion du premier événement pour développeurs d'Anthropic, « Code with Claude », Amodei a également fait valoir que les présentateurs de télévision, les politiciens et les personnes de tous horizons font constamment des erreurs. Selon lui, le fait que l'IA commette elle aussi des erreurs ne remet pas en cause son intelligence. 

Amodei affirme que les hallucinations de l'IA ne feront pas dérailler les objectifs d'Anthropic

Il ne faut pas s'étonner que l'IA hallucine les affaires et les autorités, car elle adopte les caractéristiques de ses créateurs.

Tout avocat qui traite régulièrement un grand nombre de litiges avec des clients sait que ces derniers peuvent s'entêter à s'enfermer dans leur propre réalité, même si celle-ci est…

— Cameron Atkinson (@camlatkinson) 19 mai 2025

Amodei a tenu ces propos tout en reconnaissant que les hallucinations de l'IA n'entravent pas la progression d'Anthropic vers une intelligence artificielle générale (IAG) – des systèmes d'IA dotés d'une intelligence de niveau humain, voire supérieure. Il a été l'un des leaders les plus optimistes du secteur quant aux perspectives d'atteinte de l'IAG par les modèles d'IA.

Dans un article largement diffusé qu'il a écrit l'année dernière, le dirigeant de l'entreprise estime que l'AGI pourrait arriver dès 2026. Lors du point de presse de jeudi, Amodei a mentionné qu'il constatait des progrès constants dans ce sens, notant que « l'eau monte partout ».

D'autres figures de proue du domaine de l'IA estiment que les hallucinations constituent un obstacle majeur à l'avènement de l'IA générale. Plus tôt cette semaine, Demis Hassabis, PDG de Google DeepMind, a reconnu que les modèles d'IA actuels présentent trop de lacunes et se trompent trop souvent sur des questions pourtant évidentes. Il a également affirmé que, selon lui, pour qu'un système puisse être qualifié d'IA générale, il devrait être beaucoup plus cohérent dans tous les domaines.

« Cela dépend vraiment de la façon dont on le mesure, mais je soupçonne que les modèles d'IA hallucinent probablement moins que les humains, mais qu'ils hallucinent de manière plus surprenante. »

-Dario Amodei, PDG d'Anthropic.

Plus tôt ce mois-ci, un avocat représentant Anthropic a été contraint de présenter des excuses après avoir utilisé Claude pour générer des citations dans un document judiciaire. Le problème ? Le chatbot doté d'intelligence artificielle a déraillé et a mal orthographié les noms et les titres.

L'affirmation d'Amodei est difficilement vérifiable, notamment parce que la plupart des études comparatives sur les hallucinations opposent des modèles d'IA entre eux, et non à des humains. De plus, il semble que les modèles d'IA réduisent le taux d'hallucinations grâce à certaines techniques, comme l'accès aux recherches web.

Les modèles d'IA réduisent les taux d'hallucinations grâce à certaines techniques

Contrairement à certaines discussions, je ne vois pas, dans les données, de signes d'une augmentation significative des taux d'hallucinations pour les modèles récents, ni pour les modèles de raisonnement en général.

Il semblerait que certains modèles soient plus performants que d'autres, mais de nombreux modèles récents présentent les taux d'hallucinations les plus faibles. pic.twitter.com/55JwikZ7OP

— Ethan Mollick (@emollick) 6 mai 2025

OpenAI a constaté des indices suggérant une aggravation des hallucinations chez les modèles d'IA de raisonnement avancés. Selon l'entreprise, ses modèles o3 et o4-mini présentent des taux d'hallucinations plus élevés que ses modèles de raisonnement de génération précédente, et elle ignore pourquoi.

Anthropic a également étudié la tendance des modèles d'IA à tromper les humains, un problème qui semblait prévaloir dans Claude Opus 4, le système récemment lancé par la société. Apollo Research, un institut tiers ayant bénéficié d'un accès anticipé pour tester le modèle d'IA, a révélé qu'une version préliminaire de Claude Opus 4 montrait une forte tendance à comploter contre les humains et à les tromper.

D'après un rapport de sécurité publié jeudi par Anthropic, l'institut a également constaté qu'Opus 4 semblait beaucoup plus proactif dans ses tentatives de subversion que les modèles précédents. L'entreprise a aussi découvert que le modèle d'IA persistait parfois dans sa tromperie lorsqu'on lui posait des questions complémentaires.

Apollo a reconnu que les modèles d'IA sont de plus en plus susceptibles d'entreprendre des actions inattendues, voire dangereuses, pour accomplir les tâches qui leur sont confiées. L'entreprise a souligné que les premières versions des modèles o1 et o3 d'OpenAI, publiées l'année dernière, ont tenté de tromper les humains davantage que les modèles de la génération précédente.

Dans son rapport de sécurité, Anthropic a également relevé des comportements trompeurs de la part d'Opus 4. L'entreprise a indiqué qu'Opus 4 procédait parfois de manière proactive à un nettoyage en profondeur du code, même lorsqu'une modification mineure et spécifique lui était demandée. Selon l'entreprise, Opus 4 tentait également de dénoncer les utilisateurs qui, selon elle, se livraient à des actes répréhensibles.