Точность и надежность генеративных моделей ИИ можно повысить за счет фактов, полученных из внешних источников, а метод, используемый для их получения, называется генерацией с расширенным поиском (RAG).
Для простоты предположим, что хорошая модель большого языка (LLM) может отвечать на широкий спектр человеческих запросов. Но для достоверных ответов в них должны быть процитированы какие-то источники, а для этого нужно провести некоторое исследование, поэтому модели понадобится помощник. Этот вспомогательный процесс для простоты называется генерацией с расширенным поиском или RAG.
Понимание генерации с расширенным поиском или RAG
Чтобы лучше понять RAG, он заполняет пробелы, которые уже существуют в работе LLM. Качество или сила LLM измеряется количеством имеющихся у него параметров. Параметры — это, по сути, общие закономерности того, как мы, люди, используем слова для составления предложений. LLM могут не соответствовать ответам, которые они дают.
Иногда они предоставляют именно ту информацию, которая нужна пользователю, а иногда просто выдают случайные факты и цифры из наборов данных, включенных в их обучение. Если иногда студенты LLM дают расплывчатые ответы, как будто они не знают, что говорят, то это потому, что они действительно понятия не имеют, о чем говорят. Как мы говорили о параметрах строкой выше, LLM могут связывать слова статистически, но они не знают их значений.
Интеграция RAG в чат-системы на основе LLM имеет два основных преимущества: она гарантирует, что модель может получить доступ к текущим и надежным фактам, а также гарантирует, что пользователи могут проверить достоверность ее утверждений, поскольку у них есть доступ к источникам данных. модель.
Директор по языковым технологиям IBM Research Луис Ластрас сказал:
«Вы хотите сопоставить ответы модели с исходным содержанием, чтобы увидеть, на чем она основывает свой ответ».
Источник: IBM .
Есть и другие преимущества, поскольку это снижает вероятность галлюцинаций и утечки данных, поскольку у него есть возможность основывать свои знания на внешних источниках, поэтому ему не нужно полагаться исключительно на данные, на которых он обучался. RAG также снижает финансовые и вычислительные затраты на использование чат-ботов, поскольку ему меньше нужно обучаться работе с новыми данными.
Преимущества РАГ
Традиционно в моделях цифрового разговора использовался подход ручного диалога. Они установили свое понимание намерений пользователя, затем извлекли информацию на этой основе и предоставили ответы в общем сценарии, уже defi программистами. Эта система была способна отвечать на простые и понятные вопросы. Однако система имела ограничения.
Предоставление ответов на каждый запрос, который потенциально мог запросить клиент, занимало много времени: если пользователь пропустил шаг, чат-бот не имел возможности справиться с ситуацией и импровизировать. Однако современные технологии позволили чат-ботам предоставлять персонализированные ответы пользователям без необходимости писать новые сценарии людьми, и RAG делает еще один шаг вперед, сохраняя модель свежего контента и уменьшая потребность в обучении. Как сказал Ластрас,
«Думайте о модели как о чрезмерно нетерпеливом младшем сотруднике, который выпаливает ответ, прежде чем проверить факты. Опыт учит нас останавливаться и говорить, когда мы чего-то не знаем. Но LLM необходимо специально обучать распознавать вопросы, на которые они не могут ответить».
Источник: IBM.
Как мы знаем, вопросы пользователей не всегда однозначны, они могут быть сложными, расплывчатыми и многословными или требуют информации, которой нет в модели или которую невозможно легко проанализировать. В таких условиях у ЛЛМ могут возникнуть галлюцинации. Точная настройка может предотвратить такие случаи, а LLM можно научить останавливаться, когда они сталкиваются с такой ситуацией. Но чтобы распознать их, ему нужно будет дать тысячи примеров таких вопросов.
RAG — лучшая доступная в настоящее время модель, позволяющая основывать программы LLM на новейших и наиболее подтверждаемых данных, а также снижать объем обучения. RAG также развивается со временем и все еще нуждается в дополнительных исследованиях для устранения недостатков.
Источник вдохновения можно увидеть здесь .
