RAG ഏത് പ്രശ്നമാണ് പരിഹരിക്കുന്നത്?

നിങ്ങളുടെ സ്ഥാപനത്തിന്റെ രേഖകൾ AI മോഡലിന് അറിയാത്തതോ ലോകത്തെക്കുറിച്ച് കാലഹരണപ്പെട്ട അറിവ് മാത്രമുള്ളതോ ആയ പ്രശ്നം RAG പരിഹരിക്കുന്നു. മോഡലിനെ വീണ്ടും പരിശീലിപ്പിക്കുന്നതിനുപകരം, അത് ഉത്തരം നൽകുന്ന സമയത്ത് പ്രസക്തമായ ഭാഗങ്ങൾ അതിന് നൽകുന്നു.

50 പേരുള്ള ടൈഡ്‌വാട്ടർ ട്രാവൽ എന്ന സാങ്കൽപ്പിക ടൂർ ഓപ്പറേറ്ററെ സങ്കൽപ്പിക്കുക. 90 പേജുള്ള നിബന്ധനകളും നടപടിക്രമങ്ങളും അടങ്ങിയ കൈപ്പുസ്തകത്തെക്കുറിച്ച് അതിലെ ബുക്കിംഗ് ടീം ഒരേ ചോദ്യങ്ങൾ ആവർത്തിച്ച് ചോദിക്കുന്നു. ടീം ലീഡായ ലിയോൺ ഒരു പൊതുവായ ചാറ്റ്ബോട്ടിനോട് ചോദിച്ചു: 'പുറപ്പെടുന്നതിന് 10 ദിവസം മുമ്പ് ഒരു ഉപഭോക്താവിന് മുഖ്യ യാത്രക്കാരന്റെ പേര് മാറ്റാമോ, അതിന് ഫീസ് ഉണ്ടോ?' വിമാനക്കമ്പനികളുടെ ചട്ടങ്ങളെക്കുറിച്ചും ടൈഡ്‌വാട്ടർ ഈടാക്കാത്ത ഒരു ഫീസിനെക്കുറിച്ചും ചാറ്റ്ബോട്ട് ആത്മവിശ്വാസത്തോടെ പൊതുവായ മറുപടി നൽകി. യഥാർഥ ഉത്തരം കൈപ്പുസ്തകത്തിലെ 4.2 വിഭാഗത്തിലുണ്ട്. ചാറ്റ്ബോട്ട് ആ കൈപ്പുസ്തകം ഒരിക്കലും കണ്ടിട്ടില്ല.

വിവരങ്ങൾ തിരഞ്ഞെടുത്ത് ചേർത്തുള്ള ഉള്ളടക്ക സൃഷ്ടി എങ്ങനെ പ്രവർത്തിക്കുന്നു?

വിവരങ്ങൾ വീണ്ടെടുത്ത് ഉത്തരം സൃഷ്ടിക്കുന്ന രീതി മൂന്ന് ഘട്ടങ്ങളിലായി പ്രവർത്തിക്കുന്നു: ചോദ്യവുമായി ഏറ്റവും പ്രസക്തമായ ഭാഗങ്ങൾ കണ്ടെത്തുക, അവ പ്രോംപ്റ്റിൽ ചേർക്കുക, തുടർന്ന് അവയെ അടിസ്ഥാനമാക്കി മോഡലിനെക്കൊണ്ട് ഉത്തരം സൃഷ്ടിപ്പിക്കുക. Anthropic-ന്റെ പദാവലിയും ഇതേ ആശയം വിവരിക്കുന്നു: ചോദ്യം ചോദിക്കുന്ന സമയത്ത് ഒരു വിജ്ഞാനശേഖരത്തിൽ നിന്ന് പ്രസക്തമായ വിവരങ്ങൾ കണ്ടെത്തി, യഥാർത്ഥ ചോദ്യത്തോടൊപ്പം മോഡലിന് നൽകുന്നു.

രേഖകളുടെ തിരയാവുന്ന സൂചികയുമായി ഒരു ഭാഷാ മോഡലിനെ സംയോജിപ്പിച്ച, 2020-ൽ പാട്രിക് ലൂയിസും സഹപ്രവർത്തകരും പ്രസിദ്ധീകരിച്ച ഗവേഷണപ്രബന്ധത്തിൽ നിന്നാണ് ഈ പദം വന്നത്. മോഡൽ മാത്രം ഉപയോഗിച്ചതിനെക്കാൾ കൂടുതൽ കൃത്യവും വസ്തുതാപരവുമായ ഉത്തരങ്ങളാണ് ഇതിലൂടെ ലഭിച്ചതെന്ന് അവർ കണ്ടെത്തി.

1. രേഖകൾ തയ്യാറാക്കുക

തിരയുമ്പോൾ മുഴുവൻ പുസ്തകത്തിനുപകരം പ്രസക്തമായ ഒരു ഭാഗം ലഭിക്കുന്നതിനായി കൈപ്പുസ്തകത്തെ ഓരോ വിഭാഗമോ ഏതാനും ഖണ്ഡികകളോ അടങ്ങുന്ന ചെറിയ ഭാഗങ്ങളായി തിരിക്കുന്നു.

2. അർത്ഥത്തിന്റെ അടിസ്ഥാനത്തിൽ അവ സൂചികപ്പെടുത്തുക

ഓരോ ഭാഗവും അതിന്റെ അർത്ഥത്തെ പ്രതിനിധീകരിക്കുന്ന സംഖ്യകളുടെ പട്ടികയായ എംബെഡിങ്ങാക്കി മാറ്റി ഒരു വെക്റ്റർ ഡാറ്റാബേസിൽ സൂക്ഷിക്കുന്നു. ചോദ്യങ്ങളുമായി പൊരുത്തപ്പെടുത്താൻ കഴിയുന്ന വിധത്തിൽ വിവരങ്ങളെ സംഖ്യാരൂപത്തിലേക്ക് മാറ്റുന്നതായാണ് AWS ഈ ഘട്ടത്തെ വിവരിക്കുന്നത്.

3. വിവരങ്ങൾ വീണ്ടെടുക്കുക

ചോദ്യവും അതേ രീതിയിൽ പരിവർത്തനം ചെയ്ത് ഏറ്റവും അടുത്ത ഖണ്ഡങ്ങൾ കണ്ടെത്താൻ സൂചികയുമായി പൊരുത്തപ്പെടുത്തുന്നു. പല സംവിധാനങ്ങളും ഇതോടൊപ്പം സാധാരണ പ്രധാനവാക്ക് തിരച്ചിലും ഉപയോഗിക്കുന്നു.

4. നിർദേശത്തിൽ കൂടുതൽ വിവരങ്ങൾ ചേർക്കുക

ഏറ്റവും പ്രസക്തമായ ഭാഗങ്ങൾ 'ഈ ഭാഗങ്ങളിൽ നിന്നു മാത്രം ഉത്തരം നൽകുക, ബന്ധപ്പെട്ട വിഭാഗം ഉദ്ധരിക്കുക' എന്നതുപോലുള്ള നിർദേശത്തോടൊപ്പം ചേർക്കുന്നു.

5. സൃഷ്ടിക്കുക

നൽകിയ എഴുത്തിൽനിന്നാണ് മോഡൽ ഉത്തരം തയ്യാറാക്കുന്നത്. ഉപയോഗിച്ച ഭാഗങ്ങൾ ഉദ്ധരിക്കുകയോ അവയെ പരാമർശിക്കുകയോ ചെയ്യുന്നതാണ് ഉചിതം.

RAG ഉപയോഗിച്ചുള്ള ഉത്തരവും ഉപയോഗിക്കാതെയുള്ള ഉത്തരവും എങ്ങനെയായിരിക്കും?

RAG ഇല്ലാതെ: 'മിക്ക യാത്രാ കമ്പനികളും വിമാനക്കമ്പനിയുടെ നയത്തിന് വിധേയമായി ഒരാൾക്ക് ഏകദേശം 50 മുതൽ 100 വരെ ഫീസ് ഈടാക്കി പേരുമാറ്റം അനുവദിക്കുന്നു.' ഇത് സഹായകരമാണെന്ന് തോന്നാം. പക്ഷേ ഇത് ടൈഡ്‌വാട്ടറിന്റെ നയമല്ല, ഇത് എവിടെനിന്ന് ലഭിച്ചതാണെന്ന് ആർക്കും പരിശോധിക്കാനും കഴിയില്ല.

RAG ഉപയോഗിക്കുമ്പോൾ: സംവിധാനം കൈപ്പുസ്തകത്തിലെ 4.2, 4.5 വകുപ്പുകൾ കണ്ടെത്തിയെടുക്കുന്നു. തുടർന്ന് മോഡൽ ഇങ്ങനെ ഉത്തരം നൽകുന്നു: 'അതെ. പുറപ്പെടുന്നതിന് 7 ദിവസം മുമ്പുവരെ മുഖ്യ യാത്രക്കാരന്റെ പേര് സൗജന്യമായി മാറ്റാൻ വകുപ്പ് 4.2 അനുവദിക്കുന്നു. വിമാനയാത്ര ഉൾപ്പെടുന്ന പാക്കേജുകൾക്ക് വിമാനക്കമ്പനിയുടെ സ്വന്തം പേരുമാറ്റ ഫീസ് ബാധകമായേക്കാമെന്നും അത് ബുക്കിങ് സംവിധാനത്തിൽ കാണിക്കുമെന്നും വകുപ്പ് 4.5 പറയുന്നു. സ്രോതസ്സ്: കൈപ്പുസ്തകത്തിലെ 4.2, 4.5 വകുപ്പുകൾ.' ലിയോണിന് രണ്ട് വകുപ്പുകളും തുറന്ന് നിമിഷങ്ങൾക്കുള്ളിൽ ഉത്തരം സ്ഥിരീകരിക്കാം. കൈപ്പുസ്തകം മാറിയാൽ, പുതിയ പതിപ്പ് സൂചികയിൽ ചേർക്കുന്ന ഉടൻ ഉത്തരവും മാറും.

RAG എപ്പോഴാണ് ഉപയോഗിക്കേണ്ടത്, എപ്പോഴാണ് ഉപയോഗിക്കരുതാത്തത്?

ഉത്തരങ്ങൾ നിർദിഷ്ടവും മാറിക്കൊണ്ടിരിക്കുന്നതുമായ രേഖകളിൽനിന്ന് ലഭിക്കേണ്ടതും ആളുകൾക്ക് ഉറവിടം കാണേണ്ടതുമാണെങ്കിൽ RAG ഉപയോഗിക്കുക. നയ കൈപ്പുസ്തകങ്ങൾ, ഉൽപ്പന്ന രേഖകൾ, സഹായ വിവരശേഖരങ്ങൾ, കരാർ ശേഖരങ്ങൾ എന്നിവയ്ക്ക് ഇത് അനുയോജ്യമാണ്. ഏറ്റവും പുതിയ വിവരങ്ങൾക്കും പ്രത്യേക മേഖലയിലെ അറിവിനും ഉറവിടങ്ങൾ വ്യക്തമായി ഉദ്ധരിക്കുന്നതിനും ഇത് പ്രത്യേകിച്ചും ഉപകാരപ്രദമാണെന്ന് Anthropic-ന്റെ പദാവലി പറയുന്നു.

രേഖകൾ നിർദേശത്തിൽ നേരിട്ട് ഒട്ടിക്കാൻ കഴിയുന്നത്ര ചെറുതാണെങ്കിലോ, ചെയ്യേണ്ടത് വസ്തുതകളെക്കാൾ ശൈലിയോ രൂപഘടനയോ സംബന്ധിച്ചാണെങ്കിലോ, ഉറവിട രേഖകൾ തന്നെ വിശ്വസനീയമല്ലെങ്കിലോ RAG പരിഹാരമല്ല. അനുമതികൾക്ക് പകരവുമല്ല ഇത്: ഒരു ഭാഗം തിരഞ്ഞെടുത്തെടുത്താൽ മോഡലിന് അത് ആവർത്തിക്കാനാകും, അതിനാൽ വിവരങ്ങൾ തിരഞ്ഞെടുത്തെടുക്കുന്നതിന് മുമ്പുതന്നെ പ്രവേശന നിയന്ത്രണങ്ങൾ ബാധകമാക്കണം.

വിവരങ്ങൾ തിരഞ്ഞെടുത്ത് ചേർത്തുള്ള ഉള്ളടക്ക സൃഷ്ടിയിൽ എങ്ങനെയാണ് പിഴവുകൾ സംഭവിക്കുന്നത്?

RAG-ൽ സാധാരണയായി പിഴവ് സംഭവിക്കുന്നത് ഉത്തരം സൃഷ്ടിക്കുന്നതിലല്ല, വിവരങ്ങൾ തിരഞ്ഞെടുത്തെടുക്കുന്നതിലാണ്: തെറ്റായ ഭാഗം കണ്ടെത്തിയാൽ അതിനെ അടിസ്ഥാനമാക്കി മോഡൽ ആത്മവിശ്വാസത്തോടെ ഉത്തരം എഴുതും. അറിവുശേഖരത്തിന്റെയും തിരഞ്ഞെടുത്തെടുക്കുന്ന വിവരങ്ങളുടെയും ഗുണനിലവാരത്തെയും പ്രസക്തിയെയും ആശ്രയിച്ചാണ് RAG-യുടെ ഫലപ്രാപ്തിയെന്ന് Anthropic ചൂണ്ടിക്കാട്ടുന്നു.

തെറ്റായ അല്ലെങ്കിൽ അപൂർണമായ ഭാഗം

ഒഴിവ് വ്യക്തമാക്കുന്ന ഭാഗം നിയമം ഉൾപ്പെടുന്ന ഭാഗത്തിൽനിന്ന് വ്യത്യസ്തമായ ഖണ്ഡത്തിലാണ്. അതിനാൽ ഉത്തരത്തിൽ അത് വിട്ടുപോകുന്നു.

കാലഹരണപ്പെട്ടതോ തനിപ്പകർപ്പായതോ ആയ പതിപ്പുകൾ

ഈ വർഷത്തെ കൈപ്പുസ്തകത്തിനൊപ്പം കഴിഞ്ഞ വർഷത്തേതും ഇപ്പോഴും തിരച്ചിൽ സൂചികയിലുണ്ട്, പഴയതാണ് തിരച്ചിലിൽ ലഭിക്കുന്നത്.

മോഡൽ നൽകിയ പാഠത്തിൽനിന്ന് വ്യതിചലിക്കുന്നു

മോഡൽ കണ്ടെത്തിയെടുത്ത എഴുത്തിനൊപ്പം സ്വന്തം പൊതുവിജ്ഞാനവും കലർത്തുന്നു. നൽകിയ സ്രോതസ്സുകളിൽനിന്ന് മാത്രം ഉത്തരം നൽകാനുള്ള നിർദേശങ്ങളും ദൃശ്യമായ സ്രോതസ്സ് പരാമർശങ്ങളും ഇത് തിരിച്ചറിയാൻ സഹായിക്കുന്നു.

നല്ലൊരു ഉത്തരം നിലവിലില്ല

ഊഹിക്കുന്നതിന് പകരം, ആ ചോദ്യം രേഖകളിൽ ഉൾപ്പെട്ടിട്ടില്ലെന്ന് സംവിധാനം പറയണം.

Tosheo.ai പാഠപ്പട്ടികയിൽ RAG എവിടെയാണ് ഉൾപ്പെടുന്നത്?

AI ആപ്പുകൾ നിർമ്മിക്കാനുള്ള കോഴ്സിലെ AI ആപ്പുകൾ നിർമ്മിക്കൽ എന്ന വിഭാഗത്തിലാണ് വിവര വീണ്ടെടുപ്പിന്റെ സഹായത്തോടെയുള്ള ഉള്ളടക്ക സൃഷ്ടി ഉൾപ്പെടുത്തിയിരിക്കുന്നത്. കമ്പനി രേഖകളെ അടിസ്ഥാനമാക്കി നിർമ്മിച്ച AI സഹായികളുമായി പ്രവർത്തിക്കുന്ന ആർക്കും വേണ്ടിയുള്ള ആശയപരമായ പാഠമാണിത്. സൈൻ അപ്പ് ചെയ്തശേഷം ലഭിക്കുന്ന കോഡിങ് പഠനപാതയിൽ ഒരു ചെറിയ RAG ആപ്പ് പ്രായോഗികമായി നിർമ്മിക്കുന്നു. രേഖകൾ വിഭജിക്കുന്നതും എംബെഡിങ്ങുകൾ സൃഷ്ടിക്കുന്നതും മുതൽ വിവര വീണ്ടെടുപ്പും അവലംബങ്ങളോടുകൂടിയ മറുപടികളും വരെ ഇതിൽ ഉൾപ്പെടുന്നു. ഓരോ ഘട്ടത്തിലും മൂല്യനിർണയ മാനദണ്ഡങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ള പ്രതികരണം ലഭിക്കും.

ഉറവിടങ്ങളും പരിധിയും

Lewis മുതലായവർ, അറിവ് കൂടുതലായി ആവശ്യമായ സ്വാഭാവിക ഭാഷാ സംസ്കരണ ജോലികൾക്കായുള്ള വിവരങ്ങൾ തിരഞ്ഞെടുത്ത് ചേർത്തുള്ള ഉള്ളടക്ക സൃഷ്ടി, arXiv 2020 (പരിശോധിച്ചത് 19 ഒക്ടോബർ 2026) ↗

Anthropic Claude രേഖകൾ, RAG സംബന്ധിച്ച പദാവലി കുറിപ്പ് (പരിശോധിച്ചത് 19 ഒക്ടോബർ 2026) ↗

AWS, വിവരങ്ങൾ വീണ്ടെടുത്ത് മെച്ചപ്പെടുത്തുന്ന ഉള്ളടക്ക സൃഷ്ടി, എംബെഡിങ്ങുകൾ, വെക്റ്റർ ഡാറ്റാബേസുകൾ എന്നിവ എന്താണ് (പരിശോധിച്ചത് 19 ഒക്ടോബർ 2026) ↗

Anthropic Claude രേഖകൾ, ഉറവിടങ്ങൾ ചൂണ്ടിക്കാട്ടുന്ന സൗകര്യം (പരിശോധിച്ചത് 19 ഒക്ടോബർ 2026) ↗