Qu’est-ce que la génération augmentée par récupération, ou RAG ?

La précision et la fiabilité des modèles d'IA génératifs peuvent être améliorées par les faits obtenus à partir de sources externes, et la technique utilisée pour les récupérer est appelée génération augmentée par récupération (RAG).

Pour simplifier, disons qu'un bon modèle de langage à grande échelle (LLM) peut répondre à un large éventail de requêtes humaines. Cependant, pour que les réponses soient crédibles, elles doivent s'appuyer sur des sources citées. Pour cela, le modèle doit effectuer des recherches ; il a donc besoin d'un assistant. Ce processus d'assistance est appelé, par commodité, génération augmentée par la recherche, ou RAG.

Comprendre la génération augmentée par la récupération, ou RAG

Pour mieux comprendre RAG, il faut savoir qu'il comble les lacunes des modèles linguistiques. La qualité ou la puissance d'un modèle linguistique se mesure au nombre de paramètres qu'il possède. Ces paramètres correspondent aux schémas généraux qui régissent l'utilisation des mots par les humains pour former des phrases. Les modèles linguistiques peuvent fournir des réponses incohérentes. 

Parfois, ils fournissent les informations exactes dont l'utilisateur a besoin, et parfois, ils se contentent de générer des données aléatoires à partir des ensembles de données utilisés pour leur entraînement. Si, parfois, les modèles linéaires latents (LLM) donnent des réponses vagues, comme s'ils ne savaient pas de quoi ils parlent, c'est parce qu'ils n'en ont réellement aucune idée. Comme nous l'avons évoqué précédemment à propos des paramètres, les LLM peuvent établir des liens statistiques entre les mots, mais ils n'en connaissent pas le sens.

L'intégration de RAG dans les systèmes de chat basés sur LLM présente deux avantages principaux : elle garantit que le modèle puisse accéder à des faits actuels et fiables, et elle assure également que les utilisateurs peuvent vérifier la fiabilité de ses affirmations puisqu'ils ont accès aux sources du modèle.

Luis Lastras, directeur des technologies linguistiques chez IBM Research, a déclaré :

« Il faut comparer les réponses d'un modèle avec le contenu original afin de voir sur quoi il fonde sa réponse. »

Source : IBM.

Il existe d'autres avantages : le système réduit les risques d'hallucinations et de fuites de données car il peut s'appuyer sur des sources externes et ne dépend donc pas uniquement des données utilisées pour son entraînement. De plus, RAG diminue les coûts financiers et informatiques liés à l'exploitation des chatbots, car il nécessite moins d'entraînement sur de nouvelles données.

Avantages du RAG

Traditionnellement, les modèles de conversation numérique utilisaient une approche de dialogue manuel. Ils déterminaient l'intention de l'utilisateur, puis récupéraient les informations nécessaires et fournissaient des réponses selon un script standard defipar les programmeurs. Ce système pouvait répondre à des questions simples et directes. Cependant, il présentait des limitations.

Répondre à toutes les questions qu'un client pourrait poser était fastidieux. Si l'utilisateur manquait une étape, le chatbot était incapable de gérer la situation et d'improviser. Cependant, les technologies actuelles permettent aux chatbots de fournir des réponses personnalisées sans que des humains aient besoin de rédiger de nouveaux scripts. RAG va encore plus loin en conservant le modèle sur du contenu récent et en réduisant ainsi le besoin de formation. Comme l'a dit Lastras :

« Imaginez un jeune employé trop zélé qui répond sans vérifier les faits. L'expérience nous apprend à nous arrêter et à admettre notre ignorance. Mais les titulaires d'un LLM doivent être explicitement formés à reconnaître les questions auxquelles ils ne peuvent pas répondre. »

Source : IBM.

Comme nous le savons, les questions des utilisateurs ne sont pas toujours simples ; elles peuvent être complexes, vagues et verbeuses, ou encore nécessiter des informations que le modèle ne possède pas ou qu'il a du mal à analyser. Dans ces conditions, les modèles de langage peuvent dysfonctionner. Un paramétrage précis permet d'éviter ces situations, et les modèles peuvent être entraînés à s'arrêter lorsqu'ils y sont confrontés. Cependant, il faudra leur fournir des milliers d'exemples de telles questions pour qu'ils les reconnaissent. 

RAG est actuellement le meilleur modèle disponible pour baser les modèles linéaires latents (LLM) sur les données les plus récentes et les plus fiables, tout en réduisant le temps d'entraînement. RAG est un modèle en constante évolution et nécessite encore des recherches approfondies pour corriger ses imperfections.