生成式人工智能模型的准确性和可靠性可以通过从外部来源获得的事实来提高,用于获取它们的技术称为检索增强生成(RAG)。
为了简单理解,我们假设一个好的大语言模型(LLM)可以回答广泛的人类查询。 但为了得到可信的答案,其中必须引用一些来源,为此,它必须做一些研究,所以模型需要一个助手。 为了方便起见,这个辅助过程被称为检索增强生成(RAG)。
了解检索增强生成(RAG)
为了进一步了解 RAG,它填补了法学硕士作品中已有的空白。 法学硕士的质量或实力是通过其拥有的参数数量来衡量的。 参数基本上是我们人类如何使用单词造句的一般模式。 法学硕士可能与他们提供的答案不一致。
有时他们会提供用户需要的确切信息,有时他们只是从训练中包含的数据集中生成随机事实和数据。 如果有时法学硕士会给出含糊的答案,就像他们不知道自己在说什么一样,那是因为他们真的不知道自己在说什么。 正如我们在上面讨论的参数一样,法学硕士可以统计地关联单词,但他们不知道它们的含义。
将 RAG 集成到基于 LLM 的聊天系统有两个主要好处,它确保模型可以访问当前可靠的事实,并且还确保用户可以验证其声明是否值得信赖,因为他们可以访问消息来源模型。
IBM 研究中心语言技术总监 Luis Lastras 表示:
“你想要将模型的答案与原始内容交叉引用,这样你就可以看到它的答案是基于什么。”
资料来源: IBM 。
还有其他好处,因为它减少了幻觉和数据泄露的机会,因为它有机会将其知识建立在外部来源的基础上,因此它不必仅仅依赖于它所训练的数据。 RAG 还降低了运行聊天机器人的财务和计算成本,因为它不需要接受新数据的培训。
RAG 的优点
传统上,数字对话模型使用手动对话方法。 他们建立了对用户意图的理解,然后在此基础上获取信息,并在程序员已经defi的通用脚本中提供答案。 该系统能够回答简单、直接的问题。 然而,该系统有其局限性。
为客户可能提出的每个问题提供答案非常耗时,如果用户错过了某个步骤,聊天机器人就缺乏处理这种情况和即兴发挥的能力。 然而,当今的技术使聊天机器人能够向用户提供个性化回复,而无需人类编写新脚本,而 RAG 则更进一步,保留了新内容的模型并减少了培训需求。 正如拉斯特拉斯所说,
“把这个模型想象成一个过于热心的初级员工,在检查事实之前就脱口而出答案,经验告诉我们,当我们不知道某件事时,要停下来并说出来。 但法学硕士需要接受明确的培训,以识别他们无法回答的问题。”
资料来源:IBM。
众所周知,用户的问题并不总是直截了当的,它们可能是复杂的、模糊的、冗长的,或者他们需要模型缺乏或无法轻易剖析的信息。 在这种情况下,法学硕士可能会产生幻觉。 微调可以防止这些情况发生,法学硕士可以接受训练,在遇到这种情况时停止。 但它需要提供数千个此类问题的例子才能识别它们。
RAG是目前最好的模型,可以让法学硕士基于最新、最可确认的数据,同时降低培训成本。 RAG 也在随着时间的推移而发展,仍然需要更多的研究来消除缺陷。
灵感的来源可以在这里。