通过从外部来源获得的事实可以提高生成式人工智能模型的准确性和可靠性,而用于获取这些事实的技术称为检索增强生成(RAG)。.
为了便于理解,我们假设一个优秀的大型语言模型(LLM)可以回答各种各样的人类查询。但是,为了给出可信的答案,答案中必须引用一些来源,为此,模型需要进行一些检索,因此它需要一个辅助工具。为了方便起见,这个辅助过程被称为检索增强生成(Retrieval-augmented generation,简称RAG)。.
理解检索增强生成(RAG)
为了更深入地理解 RAG,它填补了语言学习模型(LLM)中已存在的空白。语言学习模型的质量或效力取决于其参数的数量。参数本质上是我们人类使用词语造句的一般模式。语言学习模型提供的答案可能并不一致。.
有时它们能提供用户所需的确切信息,有时却只是从训练数据集中随机生成一些事实和数据。如果语言学习模型(LLM)有时给出含糊不清的答案,仿佛它们自己都不知道在说什么,那是因为它们确实不知道自己在说什么。正如我们前面提到的参数,LLM 可以统计地关联词语,但它们并不理解这些词语的含义。.
将 RAG 集成到基于 LLM 的聊天系统中有两个主要好处,它确保模型可以访问当前可靠的事实,并且还可以确保用户可以验证其声明是否可信,因为他们可以访问模型的来源。.
IBM研究院语言技术总监路易斯·拉斯特拉斯表示:
“你需要将模型的答案与原始内容进行交叉比对,这样才能了解它的答案是基于什么得出的。”
来源: IBM 。
此外,RAG还有其他优势,例如,它可以利用外部数据源来学习知识,从而降低出现幻觉和数据泄露的风险,不必完全依赖训练数据。RAG还降低了运行聊天机器人的财务和计算成本,因为它减少了对新数据进行训练的需求。.
RAG 的好处
传统的数字对话模型采用人工对话的方式。它们首先理解用户的意图,然后据此获取信息,并按照程序员预先 defi的通用脚本提供答案。这种系统能够回答简单直接的问题。然而,该系统存在局限性。.
回答客户可能提出的每一个问题非常耗时,而且如果用户漏掉了一个步骤,聊天机器人就无法处理这种情况并进行即兴发挥。然而,如今的技术已经使聊天机器人能够为用户提供个性化的回复,而无需人工编写新的脚本。RAG 更进一步,通过保留模型以适应新内容,减少了训练需求。正如 Lastras 所说,
“你可以把这种模式想象成一个过于急切的初级员工,在核实事实之前就脱口而出答案。经验告诉我们,当我们不知道某些事情时,应该停下来并说明。但是,法学硕士需要接受专门的培训,才能识别出他们无法回答的问题。”
来源:IBM。.
我们知道,用户的问题并非总是直截了当,它们可能复杂、模糊、冗长,或者需要模型缺乏或难以理解的信息。在这种情况下,逻辑学习模型(LLM)可能会出现错误。微调可以避免这种情况,并且LLM在遇到此类情况时停止运行。但这需要输入成千上万个此类问题的示例才能使其识别。
RAG是目前基于最新、最可靠的数据构建线性线性模型(LLM)的最佳模型,同时还能降低训练量。RAG也在不断发展完善,仍需更多研究来消除其不足之处。.

