La précision et la fiabilité des modèles d'IA génératifs peuvent être améliorées par les faits obtenus à partir de sources externes, et la technique utilisée pour les récupérer est appelée génération augmentée par récupération (RAG).
Pour une compréhension simple, disons qu'un bon grand modèle de langage (LLM) peut répondre à un large éventail de requêtes humaines. Mais pour des réponses crédibles, certaines sources doivent y être citées, et à cette fin, il doit faire des recherches, le modèle aura donc besoin d'un assistant. Ce processus d'assistance est appelé génération augmentée par récupération, ou RAG, pour plus de facilité.
Comprendre la génération augmentée par récupération, ou RAG
Pour mieux comprendre RAG, il comble les lacunes déjà présentes dans les travaux de LLM. La qualité ou la puissance d'un LLM est mesurée par le nombre de paramètres dont il dispose. Les paramètres sont essentiellement les modèles généraux dans lesquels nous, les humains, utilisons les mots pour former des phrases. Les LLM peuvent être incohérents avec les réponses qu'ils fournissent.
Parfois, ils donnent les informations exactes dont l'utilisateur a besoin, et parfois ils produisent simplement des faits et des chiffres aléatoires à partir des ensembles de données inclus dans leur formation. Si parfois les LLM donnent des réponses vagues, comme s'ils ne savaient pas ce qu'ils disent, c'est parce qu'ils n'ont vraiment aucune idée de ce qu'ils disent. Comme nous avons parlé des paramètres une ligne plus haut, les LLM peuvent relier les mots statistiquement, mais ils ne connaissent pas leur signification.
L'intégration de RAG dans les systèmes de discussion basés sur LLM présente deux avantages principaux : elle garantit que le modèle peut accéder aux faits actuels et fiables, et elle garantit également que les utilisateurs peuvent vérifier que ses affirmations sont dignes de confiance car ils ont accès aux sources du modèle.
Le directeur des technologies linguistiques chez IBM Research, Luis Lastras, a déclaré :
"Vous souhaitez croiser les réponses d'un modèle avec le contenu original afin de voir sur quoi il fonde sa réponse."
Source : IBM .
Il existe également d'autres avantages, car cela réduit les risques d'hallucinations et de fuites de données, car il a la possibilité de baser ses connaissances sur des sources externes, de sorte qu'il n'est pas obligé de s'appuyer uniquement sur les données sur lesquelles il a été formé. RAG réduit également les coûts financiers et informatiques liés à l’exécution des chatbots, car il a moins besoin d’être formé sur de nouvelles données.
Avantages du RAG
Traditionnellement, les modèles de conversation numérique utilisaient une approche de dialogue manuel. Ils ont établi leur compréhension de l'intention d'un utilisateur, puis ont récupéré les informations sur cette base et ont fourni des réponses dans un script général déjà defi par les programmeurs. Ce système était capable de répondre à des questions simples et directes. Cependant, le système présentait des limites.
Fournir des réponses à chaque requête qu'un client pouvait potentiellement demander prenait du temps. Si l'utilisateur manquait une étape, le chatbot n'avait pas la capacité de gérer la situation et d'improviser. Cependant, la technologie actuelle a permis aux chatbots de fournir des réponses personnalisées aux utilisateurs sans qu'il soit nécessaire d'écrire de nouveaux scripts par des humains, et RAG va encore plus loin en conservant le modèle sur du nouveau contenu et en réduisant le besoin de formation. Comme l'a dit Lastras,
« Considérez le modèle comme un jeune employé trop enthousiaste qui laisse échapper une réponse avant de vérifier les faits. L'expérience nous apprend à nous arrêter et à dire quand nous ne savons pas quelque chose. Mais les LLM doivent être explicitement formés pour reconnaître les questions auxquelles ils ne peuvent pas répondre.
Source : IBM.
Comme nous le savons, les questions des utilisateurs ne sont pas toujours simples, elles peuvent être complexes, vagues et verbeuses, ou encore elles nécessitent des informations qui manquent au modèle ou ne peuvent pas être facilement disséquées. Dans de telles conditions, les LLM peuvent halluciner. Un réglage précis peut empêcher ces cas, et les LLM peuvent être formés pour s'arrêter lorsqu'ils sont confrontés à une telle situation. Mais il faudra lui donner des milliers d’exemples de telles questions pour les reconnaître.
RAG est le meilleur modèle actuellement disponible pour baser les LLM sur les données les plus récentes et les plus confirmables et également réduire la formation. RAG évolue également avec le temps et nécessite encore davantage de recherches pour aplanir les imperfections.
La source d'inspiration peut être vue ici .
