Точность и надежность моделей генеративного ИИ можно повысить за счет данных, полученных из внешних источников, а используемый для их получения метод называется генерацией с расширением поиска (Retrieval-Augmented Generation, RAG).
Для простоты понимания предположим, что хорошая большая языковая модель (БЯМ) может отвечать на широкий спектр запросов человека. Но для получения достоверных ответов необходимо наличие ссылок на источники, а для этого модели требуется провести определенные исследования, поэтому ей понадобится помощник. Этот вспомогательный процесс для простоты называется генерацией с расширением поиска, или RAG.
Понимание процесса генерации с расширенным извлечением информации (Retrieval-Augmented Generation, RAG)
Для более глубокого понимания RAG, он заполняет пробелы, уже существующие в работах LLM. Качество или эффективность LLM измеряется количеством параметров, которые он имеет. Параметры — это, по сути, общие закономерности того, как мы, люди, используем слова для построения предложений. LLM могут давать противоречивые ответы.
Иногда они предоставляют пользователю именно ту информацию, которая ему нужна, а иногда просто выдают случайные факты и цифры из наборов данных, включенных в их обучение. Если иногда LLM дают расплывчатые ответы, как будто они не понимают, что говорят, это потому, что они действительно не имеют представления о том, что говорят. Как мы уже говорили о параметрах выше, LLM могут статистически связывать слова, но они не знают их значений.
Интеграция RAG в чат-системы на основе LLM имеет два основных преимущества: она гарантирует, что модель имеет доступ к актуальным и достоверным фактам, а также обеспечивает пользователям возможность проверить достоверность ее утверждений, поскольку они имеют доступ к источникам модели.
Директор подразделения языковых технологий в исследовательском центре IBM, Луис Ластрас, заявил:
«Вам нужно сопоставить ответы модели с исходным контентом, чтобы понять, на чём основан их ответ»
Источник: IBM .
Есть и другие преимущества, например, снижается вероятность галлюцинаций и утечки данных, поскольку чат-боты могут основывать свои знания на внешних источниках, не полагаясь исключительно на данные, на которых они обучались. RAG также снижает финансовые и вычислительные затраты на работу чат-ботов, поскольку им требуется меньше обучения на новых данных.
Преимущества RAG
Традиционно модели цифрового диалога использовали ручной подход. Они определяли намерения пользователя, затем получали необходимую информацию и предоставляли ответы в общем сценарии, уже defiпрограммистами. Эта система была способна отвечать на простые, понятные вопросы. Однако у системы были ограничения.
Раньше предоставление ответов на все возможные вопросы клиентов отнимало много времени, и если пользователь пропускал какой-либо шаг, чат-бот не мог справиться с ситуацией и импровизировать. Однако современные технологии позволяют чат-ботам предоставлять персонализированные ответы пользователям без необходимости написания новых сценариев людьми, а RAG идет еще дальше, сохраняя модель работы с новым контентом и сокращая потребность в обучении. Как сказал Ластрас:
«Представьте себе ситуацию как чрезмерно рьяного младшего сотрудника, который выпаливает ответ, не проверив факты. Опыт учит нас останавливаться и говорить, когда мы чего-то не знаем. Но магистров права необходимо специально обучать распознавать вопросы, на которые они не могут ответить»
Источник: IBM.
Как известно, вопросы пользователей не всегда просты, они могут быть сложными, расплывчатыми и многословными, или требовать информации, которой модель не располагает или которую не может легко проанализировать. В таких условиях модели на основе линейных алгоритмов могут давать галлюцинации. Тонкая настройка может предотвратить подобные случаи, и модели на основе линейных алгоритмов можно обучить останавливаться, когда они сталкиваются с такой ситуацией. Но для распознавания таких вопросов потребуется предоставить им тысячи примеров.
RAG — лучшая из доступных на данный момент моделей для построения линейных моделей на основе самых последних и подтвержденных данных, а также для сокращения времени обучения. RAG также развивается со временем и требует дальнейших исследований для устранения недостатков.
