Le PDG d'Anthropic déclare que les modèles d'IA « probablement » hallucinent moins que les humains

Dario Amodei, PDG d'Anthropic, a déclaré que les modèles d'IA actuels hallucinent moins que les humains. Il a également ajouté que les modèles d'IA d'aujourd'hui inventent des choses et les présentent comme si elles étaient vraies, ce qui ne limitera pas la route d'Anthropic vers l'AGI.

Lors de la conférence de presse lors du premier événement développeur d'Anthropic, Code with Claude, à San Francisco jeudi, Amodei a également soutenu que les diffuseurs télévisés, les politiciens et les humains dans tous les types de professions font constamment des erreurs. Selon lui, le fait que l'IA commette aussi des erreurs n'est pas un argument contre son intelligence. 

Amodei affirme que les hallucinations de l'IA ne compromettront pas les objectifs d'Anthropic

Personne ne devrait être surpris que l'IA hallucine des cas et des autorités, car l'IA reprend les caractéristiques de ses créateurs.

Tout avocat qui traite régulièrement avec des clients en litige à volume élevé sait que les clients peuvent s'entêter dans leur propre réalité, même si celle-ci…

— Cameron Atkinson (@camlatkinson) mai 19, 2025

Amodei a formulé ces remarques tout en reconnaissant que les hallucinations de l'IA ne limitent pas la trajectoire d'Anthropic vers l'AGI – des systèmes d'IA dotés d'une intelligence humaine ou supérieure. Il est l'un des leaders les plus optimistes du secteur quant aux perspectives de réalisation de l'AGI par les modèles d'IA.

Dans un article largement diffusé qu'il a écrit l'année dernière, le dirigeant de la firme estime que l'AGI pourrait arriver dès 2026. Lors de la conférence de presse de jeudi, Amodei a mentionné avoir constaté une progression constante dans ce sens, notant que «l'eau monte partout».

D'autres leaders du domaine de l'IA considèrent que les hallucinations constituent un obstacle majeur à la réalisation de l'AGI. Plus tôt cette semaine, Demis Hassabis, PDG de Google DeepMind, a reconnu que les modèles d'IA actuels comportent trop de «trous» et se trompent trop souvent sur des questions évidentes. Il a également soutenu que, pour lui, quelque chose ne peut être qualifié d'AGI que s'il fait preuve d'une bien plus grande cohérence globale.

«Cela dépend vraiment de la façon dont on le mesure, mais je soupçonne que les modèles d'IA hallucinent probablement moins que les humains, mais ils le font de manières plus surprenantes.»

- Dario Amodei, PDG d'Anthropic.

Plus tôt ce mois-ci, un avocat représentant Anthropic a été contraint de présenter ses excuses après avoir utilisé Claude pour créer des citations dans un dépôt au tribunal. Le problème était que le chatbot d'IA avait halluciné et commis des erreurs sur les noms et les titres.

La revendication d'Amodei n'est pas facilement vérifiable, en grande partie parce que la plupart des benchmarks sur les hallucinations opposent des modèles d'IA entre eux ; ils ne comparent pas les modèles aux humains. Les modèles d'IA semblent également réduire les taux d'hallucination grâce à certaines techniques, telles que l'accès aux recherches web.

Les modèles d'IA réduisent les taux d'hallucination grâce à certaines techniques

Contrairement à certaines discussions, je ne vois simplement pas de signes d'une augmentation majeure des taux d'hallucination pour les modèles récents ou pour les modèles de raisonnement dans les données.

Il semble que certains modèles fonctionnent mieux que d'autres, mais de nombreux modèles récents affichent les taux d'hallucination les plus faibles. pic.twitter.com/55JwikZ7OP

— Ethan Mollick (@emollick) mai 6, 2025

OpenAI a trouvé des preuves suggérant que les hallucinations s'aggravent dans les modèles d'IA avancés de raisonnement. Selon l'entreprise technologique, ses modèles o3 et o4-mini présentent des taux d'hallucination plus élevés que ses modèles de raisonnement de génération précédente, et l'entreprise ne comprend pas pourquoi.

Anthropic a également mené des recherches sur la tendance des modèles d'IA à tromper les humains, un problème qui semblait prévalent dans le modèle Claude Opus 4 récemment lancé par l'entreprise. Apollo Research, un institut tiers ayant eu un accès anticipé pour tester le modèle d'IA, a révélé qu'une version préliminaire de Claude Opus 4 montrait une forte tendance à comploter contre les humains et à les tromper.

Selon un rapport de sécurité publié par Anthropic publié jeudi, l'institut a également constaté que Opus 4 semblait beaucoup plus proactif dans ses tentatives de subversion que les modèles précédents. L'entreprise a également découvert que le modèle d'IA insistait parfois sur sa tromperie lorsqu'on lui posait des questions de suivi.

Apollo reconnaissent que les modèles d'IA sont de plus en plus susceptibles d'entreprendre des mesures inattendues – et potentiellement dangereuses – pour atteindre les tâches déléguées. Le cabinet a souligné que les premières versions des modèles o1 et o3 d'OpenAI, lancés au cours de l'année écoulée, ont tenté de tromper les humains plus que les modèles de génération précédente.

Dans son rapport sur la sécurité, Anthropic a également noté des preuves de comportements trompeurs de la part d'Opus 4. L'entreprise a indiqué qu'Opus4 effectuait parfois proactivement un nettoyage large d'un certain code même lorsqu'on lui demandait d'apporter uniquement un petit changement spécifique. Selon la société, Opus4 tenterait également de dénoncer les agissements s'il percevait qu'un utilisateur se livrait à des actes répréhensibles.