生成 AI モデルの精度と信頼性は、外部ソースから取得した事実によって向上させることができ、それらを取得するために使用される技術は検索拡張生成 (RAG) と呼ばれます。
簡単に理解するために、優れた大規模言語モデル (LLM) が人間の広範なクエリに答えることができると考えてみましょう。 しかし、信頼できる答えを得るには、その中で引用された情報源が必要であり、そのためにはある程度の調査を行う必要があるため、モデルにはアシスタントが必要になります。 この支援プロセスは、簡単のために検索拡張生成 (RAG) と呼ばれます。
検索拡張生成 (RAG) について
RAG をさらに理解するために、LLM の作品にすでに存在するギャップを埋めます。 LLM の品質または能力は、LLM が持つパラメータの数によって測定されます。 パラメータは基本的に、人間が文章を作成するために単語を使用する方法の一般的なパターンです。 LLM は、提供する回答と矛盾する場合があります。
ユーザーが必要とする正確な情報を提供することもあれば、トレーニングに含まれるデータセットからランダムな事実や数値を大量に抽出することもあります。 LLM が時々、自分が何を言っているのかわからないかのようなあいまいな答えをする場合、それは彼らが実際に何を言っているのかまったく分かっていないからです。 上の行でパラメーターについて説明したように、LLM は単語を統計的に関連付けることができますが、その意味は知りません。
LLM ベースのチャット システムに RAG を統合すると、主に 2 つの利点があります。モデルが最新の信頼できる事実に確実にアクセスできるようになり、ユーザーが情報源にアクセスできるため、その主張が信頼できるかどうかを確認できるようになります。モデル。
IBM Researchの言語テクノロジー担当ディレクター、Luis Lastras氏は次のように述べています。
「モデルの回答と元のコンテンツを相互参照して、その回答が何に基づいているかを確認したいと考えています。」
出典: IBM 。
他にも利点があり、外部ソースに基づいた知識を得ることができるため、幻覚やデータ漏洩の可能性が減り、トレーニングに基づいたデータのみに依存する必要がなくなります。 RAG は、新しいデータでトレーニングする必要が少ないため、チャットボットの実行にかかる財務コストと計算コストも削減します。
RAG の利点
従来、デジタル会話モデルでは手動の対話アプローチが使用されていました。 彼らはユーザーの意図の理解を確立し、それに基づいて情報を取得し、プログラマーによってすでにdefiれている一般的なスクリプトで回答を提供しました。 このシステムは、単純かつ率直な質問に答えることができました。 ただし、このシステムには限界がありました。
顧客が要求する可能性のあるすべてのクエリに回答を提供するには時間がかかり、ユーザーが手順を踏み外した場合、チャットボットには状況に対処して即興で対応する能力がありませんでした。 しかし、今日のテクノロジーにより、人間が新しいスクリプトを作成しなくても、チャットボットがユーザーにパーソナライズされた応答を提供できるようになり、RAG は新しいコンテンツのモデルを保持し、トレーニングの必要性を減らすことで、さらに一歩進んでいます。 ラストラスさんの言う通り、
「このモデルは、事実を確認する前に答えを口走ってしまう、熱心すぎる若手社員のようなものだと考えてください。経験が私たちに、何かわからないことがあるときは立ち止まって言うことを教えてくれます。 しかし、LLM は、答えられない質問を認識できるように明示的にトレーニングされる必要があります。」
出典: IBM。
ご存知のとおり、ユーザーの質問は必ずしも単純なわけではなく、複雑で曖昧で冗長な場合もあれば、モデルに欠けている情報や簡単に分析できない情報が必要な場合もあります。 このような状況では、LLM は幻覚を見ることがあります。 微調整することでこのような事態を防ぐことができ、 LLM はそのような状況に直面したときに停止するように訓練することができます。 しかし、それらを認識するには、そのような質問の何千もの例を入力する必要があります。
RAG は、最新かつ最も確認可能なデータに基づいて LLM を構築し、トレーニングを軽減するために現在利用できる最良のモデルです。 RAG も時間の経過とともに開発されており、不完全性を修正するためにさらに研究が必要です。
インスピレーションの源はここで。
