Dompter les hallucinations de l'IA : les nouvelles mesures de Galileo Labs pour une IA plus sûre et plus fiable

Avec le développement rapide de l'IA, les préoccupations liées à ses limites et à ses implications éthiques prennent de l'importance. Parmi les défis émergents figure le phénomène des hallucinations de l'IA, où les systèmes d'IA génèrent des informations factuellement incorrectes, non pertinentes ou non fondées sur les données d'entrée. Face à cette préoccupation croissante, Galileo Labs a introduit des indicateurs novateurs visant à quantifier et à atténuer ces hallucinations. Ces indicateurs offrent une perspective prometteuse pour améliorer la fiabilité et la sécurité des grands modèles de langage (LLM) et autres systèmes d'IA.

L'essor des hallucinations de l'IA

Les technologies d'IA, notamment les grands modèles de langage (LLM), ont permis des avancées considérables dans le traitement et la génération du langage naturel. Cependant, ces progrès ne sont pas sans inconvénients. Les systèmes d'IA, comme ChatGPT, ont parfois produit des réponses qui semblent convaincantes mais qui sont fondamentalement erronées — un phénomène communément appelé « hallucinations ». La détection de ces hallucinations est devenue cruciale à l'ère où l'IA joue un rôle central dans de nombreuses applications.

En 2023, le dictionnaire de Cambridge a même désigné « halluciner » comme mot de l'année, soulignant ainsi l'importance de s'attaquer à ce problème. Chercheurs et acteurs du secteur développent activement des algorithmes et des outils pour détecter et atténuer efficacement ces hallucinations.

Présentation de l'indice d'hallucinations de Galileo Labs

Galileo Labs, un acteur majeur dans la lutte contre les hallucinations induites par l'IA, a introduit un outil novateur : l'indice d'hallucinations. Cet indice permet d'évaluer les modèles linguistiques les plus populaires en fonction de leur probabilité de provoquer des hallucinations.

L'analyse de Galileo Labs révèle des informations fascinantes. Même des modèles avancés comme OpenAI GPT-4, considéré comme l'un des plus performants, sont sujets à des hallucinations dans environ 23 % des cas lors de tâches de questions-réponses basiques. Certains autres modèles font encore pire, avec un taux d'hallucinations stupéfiant de 60 %. Cependant, la compréhension de ces statistiques exige un examen plus approfondi des nuances et des nouvelles métriques utilisées.

Une approche nuancée des mesures des hallucinations

Galileo Labs defil'hallucination comme la production d'informations ou de données factuellement incorrectes, non pertinentes ou non fondées sur les données d'entrée. Il est important de noter que la nature d'une hallucination peut varier selon le type de tâche, ce qui souligne la nécessité d'une approche spécifique à chaque tâche pour évaluer les systèmes d'IA.

Par exemple, dans un scénario de questions-réponses où le contexte est crucial, un modèle de langage humain (LLM) doit extraire le contexte pertinent et fournir une réponse solidement ancrée dans ce contexte. Pour améliorer ses performances, des techniques comme la génération augmentée par extraction (RAG) fournissent au LLM des informations contextuelles pertinentes. Étonnamment, les performances de GPT-4 se dégradent légèrement avec la RAG, ce qui souligne la complexité de la gestion efficace des hallucinations.

En revanche, pour des tâches comme la génération de textes longs, il est essentiel d'évaluer la véracité des réponses du LLM. Dans ce contexte, une nouvelle mesure, appelée « exactitude »,dentd'identifier les erreurs factuelles dans les réponses qui ne sont liées à aucun document ou contexte spécifique.

Dimensions clés influençant la propension aux hallucinations

Galileo Labs adentplusieurs dimensions clés qui influencent la propension d'un LLM à avoir des hallucinations. Ces dimensions incluent :

1. Type de tâche : La nature de la tâche (spécifique à un domaine ou générale) influence la manifestation des hallucinations. Pour les questions spécifiques à un domaine, comme la consultation de documents d’entreprise pour répondre à une requête, la capacité du juriste à extraire et à utiliser le contexte nécessaire est cruciale.

2. Taille du modèle linéaire généralisé (LLM) : Le nombre de paramètres sur lesquels un LLM a été entraîné peut influencer ses performances. Contrairement à l’idée reçue selon laquelle plus grand est toujours mieux, cette dimension souligne la nécessité d’optimiser la taille du modèle.

3. Fenêtre de contexte : Lorsque la RAG est utilisée pour enrichir le contexte, la fenêtre de contexte et les limitations du LLM deviennent pertinentes. La capacité du LLM à extraire des informations du milieu du texte fourni, mise en évidence par des recherches récentes, peut influencer sa propension aux hallucinations.

ChainPoll : une méthode de détection des hallucinations économique

Pour simplifier la détection des hallucinations, Galileo Labs a développé ChainPoll, une méthodologie novatrice. ChainPoll s'appuie sur une approche d'ingénierie des incitations basée sur le coût de la pensée, permettant ainsi des explications précises etmatic à partir de modèles d'IA. Cette approche contribue à comprendre l'origine des hallucinations et favorise une IA plus explicable.

Galileo Labs affirme que ChainPoll est environ 20 fois plus rentable que les techniques de détection d'hallucinations précédentes. Il offre un moyen économique et efficace d'évaluer la qualité des résultats de l'IA, notamment pour des tâches courantes comme le chat, la synthèse et la génération, avec ou sans RAG. De plus, ces indicateurs présentent unetroncorrélation avec les retours humains.

Vers une IA plus sûre et plus fiable

Bien que les indicateurs de Galileo Labs constituent une avancée significative dans la lutte contre les hallucinations de l'IA, ils restent encore à perfectionner. L'obtention d'une corrélation de 85 % avec les retours humains est louable, mais des améliorations sont possibles. Ces indicateurs devront également être adaptés aux modèles de langage multimodaux capables de traiter divers types de données, notamment le texte, le code, les images, les sons et la vidéo.

Néanmoins, ces indicateurs constituent un outil précieux pour les équipes développant des applications LLM. Ils offrent un retour d'information continu pendant le développement et la surveillance en production, permettant d'dentrapidement les entrées et sorties nécessitant une attention particulière. Ceci, à son tour, réduit le temps de développement nécessaire au lancement d'applications LLM fiables et sécurisées.

Les indicateurs et méthodologies novateurs de Galileo Labs offrent une solution prometteuse au problème urgent des hallucinations de l'IA. À mesure que les technologies d'IA évoluent, il devient primordial de garantir la fiabilité et la précision de leurs résultats. Malgré les défis persistants, des outils comme l'Indice d'Hallucination et ChainPoll permettent aux développeurs et aux entreprises d'exploiter le potentiel de l'IA de manière plus sûre et responsable.

La reconnaissance des hallucinations de l'IA est une étape essentielle pour faire progresser ses capacités au-delà de la simple imitation de textes par l'humain. Alors que les systèmes d'IA visent à explorer de nouveaux horizons, comme la physique inédite, ce parcours exigera des approches novatrices pour garantir la sécurité, la précision et le déploiement éthique de l'IA. La contribution de Galileo Labs à cet effort souligne l'engagement de l'industrie à repousser les limites de l'IA tout en préservant son intégrité et sa fiabilité.