Что такое Retrieval-Augmented Generation (RAG)?

Точность и надежность моделей генеративного ИИ могут быть улучшены фактами, полученными из внешних источников, а техника, используемая для их получения, называется генерацией с дополнением извлечения (RAG).

Для простого понимания, давайте скажем, что хороший большая языковая модель (LLM) может отвечать на широкий спектр человеческих запросов. Но для достоверных ответов в них должны быть указаны некоторые источники, и для этой цели ей нужно провести некоторые исследования, поэтому модели нужен помощник. Этот вспомогательный процесс называется генерацией с дополнением извлечения, или RAG, для удобства.

Понимание генерации с дополнением извлечения, или RAG

Чтобы лучше понять RAG, он заполняет пробелы, которые уже существуют в работах LLM. Качество или мощность LLM измеряется количеством параметров, которые она имеет. Параметры — это в основном общие шаблоны того, как мы, люди, используем слова для построения предложений. LLM могут быть непоследовательны в предоставляемых ответах. 

Иногда они дают точную информацию, в которой нуждается пользователь, а иногда просто выдают случайные факты и цифры из наборов данных, включенных в их обучение. Если иногда LLM дают расплывчатые ответы, как будто они не знают, что говорят, это потому, что они действительно не имеют понятия о том, что говорят. Как мы говорили о параметрах строкой выше, LLM могут статистически связывать слова, но они не знают их значений.

Интеграция RAG в чат-системы на основе LLM имеет два основных преимущества: она гарантирует, что модель может получать доступ к текущим и надежным фактам, а также обеспечивает, что пользователи могут проверить, что ее утверждения заслуживают доверия, поскольку у них есть доступ к источникам модели.

Директор по языковым технологиям в IBM Research Луис Ластрас сказал:

«Вы хотите перекрестно проверить ответы модели с исходным контентом, чтобы увидеть, на чем она основывает свой ответ».

Источник: IBM.

Есть и другие преимущества, так как это снижает вероятность галлюцинаций и утечки данных, поскольку у нее есть возможность основывать свои знания на внешних источниках, поэтому ей не нужно полагаться исключительно на данные, на которых она была обучена. RAG также снижает финансовые и вычислительные затраты на запуск чат-ботов, так как у нее есть меньшая потребность в обучении на новых данных.

Преимущества RAG

Традиционно цифровые модели разговора использовали ручной диалоговый подход. Они устанавливали свое понимание намерения пользователя, затем извлекали информацию на этой основе и предоставляли ответы в общем сценарии, уже определенном программистами. Эта система могла отвечать на простые, прямые вопросы. Однако у системы были ограничения.

Предоставление ответов на каждый запрос, который может задать клиент, было трудоемким; если пользователь пропускал шаг, чат-бот не мог справиться с ситуацией и импровизировать. Однако сегодняшние технологии сделали возможным для чат-ботов предоставлять персонализированные ответы пользователям без необходимости написания новых сценариев людьми, и RAG делает шаг дальше, удерживая модель на свежем контенте и снижая потребность в обучении. Как сказал Ластрас:

«Представьте себе модель как чрезмерно усердного младшего сотрудника, который выдает ответ, не проверяя факты. Опыт учит нас останавливаться и говорить, когда мы чего-то не знаем. Но LLM необходимо явно обучать распознавать вопросы, на которые они не могут ответить».

Источник: IBM.

Как мы знаем, вопросы пользователей не всегда являются прямыми, они могут быть сложными, расплывчатыми и многословными, или требовать информации, которой у модели нет или которую она не может легко разобрать. В таких условиях LLM могут галлюцинировать. Тонкая настройка может предотвратить эти случаи, и LLMs могут быть обучены останавливаться, когда они сталкиваются с такой ситуацией. Но для этого потребуется подать им тысячи примеров таких вопросов, чтобы распознавать их.

RAG — это лучшая модель, которая в настоящее время доступна для базирования LLM на самых последних и наиболее подтвержденных данных, а также снижения затрат на обучение. RAG также развивается со временем и все еще нуждается в дополнительных исследованиях, чтобы устранить несовершенства.