取得強化生成（RAG）とは何か？

生成AIモデルの精度と信頼性は、外部ソースから得られた事実によって向上させることができ、それらを取得するために使用される技術は取得強化生成（RAG）と呼ばれます。

簡単に理解するために、優れた大規模言語モデル（LLM）は幅広い人間のクエリに答えることができると仮定しましょう。しかし、信頼性の高い回答を得るためには、それらに引用元が存在する必要があり、そのためにはある種の調査を行う必要があり、モデルにはアシスタントが必要です。この支援プロセスは、簡便さのために取得強化生成、またはRAGと呼ばれます。

取得強化生成（RAG）の理解

RAGをさらに理解するために、それはLLMの作業においてすでに存在するギャップを埋めるものです。LLMの品質や能力は、それが持つパラメータの数によって測定されます。パラメータは、私たちが人間として文を作るために単語を使用する一般的なパターン basically です。LLMは提供する回答に一貫性がない場合があります。 

時には、ユーザーが必要とする正確な情報を与えますが、時には、トレーニングに含まれるデータセットから無作為な事実や数値を生成することもあります。LLMが曖昧な回答、つまり自分が何と言っているのかわからないような回答を与える場合、それは実際に何と言っているのか理解していないからです。上記でパラメータについて言及しましたが、LLMは単語を統計的に関連付けることはできますが、その意味を理解していません。

LLMベースのチャットシステムにRAGを統合することには、主に2つの利点があります。それは、モデルが現在かつ信頼性の高い事実アクセスできることを保証し、ユーザーがモデルの主張が信頼できることを、モデルのソースにアクセスすることで検証できることを保証する点です。

IBMリサーチの言語技術ディレクター、ルイス・ラストラスは次のように述べています。

「モデルの回答を元のコンテンツと照合し、回答の根拠が何であるかを確認できるようにしたいものです。」

ソース: IBM.

他にも利点があります。外部ソースに基づいて知識を構築する機会があるため、幻覚やデータリークの発生可能性が減少し、トレーニングされたデータのみを頼りにする必要がなくなります。RAGは、新しいデータでのトレーニングの必要性が少なくなるため、チャットボットの実行にかかる金銭的および計算コストも削減します。

RAGの利点

従来、デジタル会話モデルは手動の対話アプローチを使用していました。彼らはユーザーの意図を理解し、それに基づいて情報を取得し、プログラマーによってすでに定義された一般的なスクリプトで回答を提供しました。このシステムは、単純で明確な質問に答えることができました。しかし、このシステムには限界がありました。

顧客が潜在的に尋ねる可能性のあるすべてのクエリに対する回答を提供するのは時間がかかり、ユーザーがステップを逃した場合、チャットボットはその状況を処理したり即興で対応したりする能力が欠けていました。しかし、今日のテクノロジーにより、チャットボットが人間の新しいスクリプトを作成する必要なくユーザーにパーソナライズされた返信を提供することが可能になり、RAGはモデルを新鮮なコンテンツに維持し、トレーニングの必要性を減らすことでさらに一歩進めます。ラストラスの言葉によれば、

「モデルを、事実を確認する前に答えを口走ってしまう熱心な新人社員と想像してください。経験則として、わからないことがあるときは立ち止まって『わかりません』と言うことを学びます。しかし、LLMは答えられない質問を認識するために明示的に訓練される必要があります。」

出典：IBM。

ご存知のように、ユーザーの質問は常に単純明瞭とは限らず、複雑で曖昧、冗長な場合や、モデルが欠落している情報や容易に分解できない情報を必要とする場合があります。そのような状況では、LLM（大規模言語モデル）は幻覚（ハルシネーション）を起こす可能性があります。ファインチューニングによりこれらの事例を防ぐことができ、LLMはこのような状況に直面した際に停止するように訓練することができます。ただし、それらを認識するために、そのような質問の数千の例を学習させる必要があります。

RAGは、現在利用可能な最高のモデルであり、LLMを最新かつ最も確認可能なデータに基づかせ、トレーニングを削減します。RAGは時間とともに発展しており、未熟さを解消するためにさらなる研究が必要です。