- La génération augmentée par récupération est un processus consistant à extraire des faits depuis des sources externes.
- Elle permet de s'appuyer sur des bases de connaissances actuelles et authentiques pour les LLM, offrant aux utilisateurs la possibilité de vérifier les informations croisées.
- Le RAG contribue à réduire les coûts d'entraînement des modèles IA en diminuant le besoin d'un entraînement continu.
La précision et la fiabilité des modèles d'IA générative peuvent être améliorées par les faits obtenus à partir de sources externes, et la technique utilisée pour les récupérer est appelée génération augmentée par récupération (RAG).
Pour une compréhension simple, disons qu'un bon grand modèle de langage (LLM) peut répondre à une large gamme de requêtes humaines. Mais pour des réponses crédibles, il doit y avoir des sources citées, et à cette fin, il doit faire des recherches, donc le modèle aura besoin d'un assistant. Ce processus d'assistance est appelé génération augmentée par récupération, ou RAG, pour simplifier.
Comprendre la génération augmentée par récupération, ou RAG
Pour mieux comprendre le RAG, il comble les lacunes qui existent déjà dans les travaux des LLM. La qualité ou la puissance d'un LLM est mesurée par le nombre de paramètres qu'il possède. Les paramètres sont essentiellement les modèles généraux de la façon dont nous, humains, utilisons les mots pour former des phrases. Les LLM peuvent être incohérents dans les réponses qu'ils fournissent.
Parfois, ils donnent les informations exactes dont l'utilisateur a besoin, et parfois ils produisent simplement des faits et des chiffres aléatoires à partir des ensembles de données inclus dans leur entraînement. Si parfois, les LLM donnent des réponses vagues, comme s'ils ne savaient pas ce qu'ils disaient, c'est parce qu'ils n'ont vraiment aucune idée de ce qu'ils disent. Comme nous l'avons mentionné avec les paramètres plus haut, les LLM peuvent relier les mots statistiquement, mais ils ne connaissent pas leurs significations.
L'intégration du RAG dans les systèmes de chat basés sur les LLM présente deux principaux avantages : elle garantit que le modèle peut accéder à des faits actuels et fiables, et elle assure également que les utilisateurs peuvent vérifier que ses affirmations sont dignes de confiance, car ils ont accès aux sources du modèle.
Luis Lastras, directeur des technologies du langage chez IBM Research, a déclaré :
« Vous voulez croiser les réponses d'un modèle avec le contenu original afin de voir sur quoi il base sa réponse. »
Source : IBM.
Il y a d'autres avantages également, car cela réduit les risques d'hallucinations et de fuite de données, puisqu'il a la possibilité de baser ses connaissances sur des sources externes, il n'a donc pas à se fier uniquement aux données sur lesquelles il a été entraîné. Le RAG réduit également les coûts financiers et informatiques de l'exécution des chatbots, car il a moins besoin d'être entraîné sur de nouvelles données.
Avantages du RAG
Traditionnellement, les modèles de conversation numérique utilisaient une approche de dialogue manuel. Ils établissaient leur compréhension de l'intention de l'utilisateur, puis récupéraient les informations sur cette base et fournissaient des réponses dans un script général déjà défini par les programmeurs. Ce système était capable de répondre à des questions simples et directes. Cependant, le système avait des limites.
Fournir des réponses à chaque requête qu'un client pourrait potentiellement poser prenait du temps ; si l'utilisateur manquait une étape, le chatbot manquait de la capacité de gérer la situation et d'improviser. Cependant, la technologie d'aujourd'hui a rendu possible pour les chatbots de fournir des réponses personnalisées aux utilisateurs sans besoin d'écrire de nouveaux scripts par des humains, et le RAG va encore plus loin en maintenant le modèle sur du contenu frais et en réduisant le besoin d'entraînement. Comme l'a dit Lastras :
« Pensez au modèle comme à un employé junior trop enthousiaste qui lâche une réponse avant de vérifier les faits ; l'expérience nous apprend à nous arrêter et à dire que nous ne savons pas quelque chose. Mais les LLM doivent être explicitement entraînés à reconnaître les questions auxquelles ils ne peuvent pas répondre. »
Source : IBM.
Comme nous le savons, les questions des utilisateurs ne sont pas toujours simples ; elles peuvent être complexes, vagues et verbeuses, ou nécessiter des informations que le modèle ne possède pas ou ne peut pas facilement analyser. Dans de telles conditions, les LLM peuvent halluciner. Le réglage fin (fine-tuning) peut prévenir ces cas, et les LLM peuvent être entraînés à s'arrêter lorsqu'ils sont confrontés à une telle situation. Mais ils devront être nourris de milliers d'exemples de ce type de questions pour les reconnaître.
Le RAG est le meilleur modèle actuellement disponible pour baser les LLM sur les données les plus récentes et les plus confirmables, tout en réduisant l'entraînement. Le RAG se développe également avec le temps et nécessite encore plus de recherche pour éliminer les imperfections.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement : Les informations fournies ne constituent pas des conseils de trading. Cryptopolitan.com décline toute responsabilité quant aux investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener des recherches indépendantes et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Aamir Sheikh
Aamir est journaliste technologique avec près de six ans d'expérience dans les secteurs de la cryptomonnaie et de la technologie. Il est diplômé de l'université MAJ avec un MBA en finance et marketing. Il travaille désormais pour Cryptopolitan, où il rend compte des dernières évolutions des marchés de la cryptomonnaie et des prévisions de prix.
