Noggrannheten och tillförlitligheten hos generativa AI-modeller kan förbättras genom fakta som erhållits från externa källor, och tekniken som används för att hämta dem kallas retrieval-augmented generation (RAG).
För en enkel förståelse, låt oss säga att en bra stor språkmodell (LLM) kan svara på ett brett spektrum av mänskliga frågor. Men för trovärdiga svar måste det finnas några källor som citeras i dem, och för detta ändamål måste den göra en del efterforskningar, så modellen kommer att behöva en assistent. Denna assisterande process kallas för enkelhets skull retrieval-augmented generation, eller RAG.
Förstå retrieval-augmented generation, eller RAG
För att ytterligare förstå RAG fyller den de luckor som redan finns i LLM:s verk. En LLM:s kvalitet eller kraft mäts av antalet parametrar den har. Parametrar är i grunden de allmänna mönstren för hur vi människor använder ord för att göra meningar. LLM:er kan vara oförenliga med de svar de ger.
Ibland ger de den exakta information som användaren behöver, och ibland tar de bara fram slumpmässiga fakta och siffror från de datamängder som ingår i deras utbildning. Om LLMs ibland ger vaga svar, som att de inte vet vad de säger, beror det på att de verkligen inte har någon aning om vad de säger. När vi talade om parametrar på en rad ovan kan LLM:er relatera ord statistiskt, men de vet inte deras betydelse.
Att integrera RAG i LLM-baserade chatsystem har två huvudsakliga fördelar, det säkerställer att modellen kan komma åt aktuella och tillförlitliga fakta, och det säkerställer också att användarna kan verifiera att dess påståenden är trovärdiga eftersom de har tillgång till källorna till modell.
Direktör för språkteknologi på IBM Research, Luis Lastras, sa,
"Du vill korsrefera en modells svar med det ursprungliga innehållet så att du kan se vad den baserar sitt svar på."
Källa: IBM .
Det finns också andra fördelar, eftersom det minskar chanserna för hallucinationer och dataläckage eftersom det har möjlighet att basera sin kunskap på externa källor, så det behöver inte förlita sig enbart på den data som den utbildats på. RAG sänker också de ekonomiska och beräkningsmässiga kostnaderna för att köra chatbots eftersom det har mindre behov av att tränas på ny data.
Fördelar med RAG
Traditionellt använde digitala konversationsmodeller en manuell dialog. De etablerade sin förståelse för en användares avsikt, hämtade sedan informationen på den grunden och gav svar i ett allmänt skript som redan defi av programmerarna. Detta system kunde svara på enkla, okomplicerade frågor. Systemet hade dock begränsningar.
Att leverera svar på varje fråga en kund potentiellt kan fråga efter var tidskrävande, om användaren missade ett steg saknade chatboten förmågan att hantera situationen och improvisera. Dagens teknik har dock gjort det möjligt för chatbots att ge personliga svar till användare utan att behöva skriva nya skript av människor, och RAG tar det ett steg längre genom att behålla modellen för nytt innehåll och minska behovet av utbildning. Som Lastras sa,
”Tänk på modellen som en överivrig junioranställd som slänger ut ett svar innan vi kollar fakta, erfarenhet lär oss att stanna upp och säga när vi inte vet något. Men LLM måste explicit tränas för att känna igen frågor de inte kan svara på."
Källa: IBM.
Som vi vet är användarnas frågor inte alltid enkla, de kan vara komplexa, vaga och ordrika, eller så kräver de information som modellen saknar eller inte lätt kan dissekera. Under sådana förhållanden kan LLMs hallucinera. Finjustering kan förhindra dessa fall, och LLM:er kan tränas att sluta när de möter en sådan situation. Men det kommer att behöva matas tusentals exempel på sådana frågor för att känna igen dem.
RAG är den bästa modellen som för närvarande finns tillgänglig för att basera LLM på de senaste och mest bekräftade uppgifterna och även sänka utbildningen. RAG utvecklas också med tiden och behöver fortfarande mer forskning för att utjämna brister.
Inspirationskällan kan ses här .
