RAG कोणती समस्या सोडवते?

AI मॉडेलला तुमच्या संस्थेचे दस्तऐवज माहीत नसणे किंवा जगाबद्दल केवळ कालबाह्य माहिती असणे, ही समस्या RAG सोडवते. मॉडेलला पुन्हा प्रशिक्षण देण्याऐवजी, ते उत्तर देत असतानाच तुम्ही त्याला योग्य उतारे देता.

टाइडवॉटर ट्रॅव्हल नावाच्या एका काल्पनिक, 50 जणांच्या पर्यटन कंपनीची कल्पना करा. तिचा आरक्षण संघ अटी आणि कार्यपद्धतींच्या 90 पानांच्या पुस्तिकेबद्दल वारंवार तेच प्रश्न विचारत असतो. संघप्रमुख लिऑन यांनी एका सर्वसाधारण चॅटबॉटला विचारून पाहिले: 'प्रवास सुरू होण्याच्या 10 दिवस आधी ग्राहक मुख्य प्रवाशाचे नाव बदलू शकतो का आणि त्यासाठी शुल्क आहे का?' चॅटबॉटने विमान कंपन्यांच्या नियमांबद्दल आणि टाइडवॉटर आकारत नसलेल्या शुल्काबद्दल आत्मविश्वासाने एक सर्वसाधारण उत्तर दिले. खरे उत्तर पुस्तिकेच्या विभाग 4.2 मध्ये आहे, जी चॅटबॉटने कधी पाहिलेलीच नाही.

स्रोतांमधून माहिती मिळवून तिच्या आधारे मजकूर तयार करण्याची प्रक्रिया कशी काम करते?

संबंधित माहिती शोधून त्याआधारे उत्तर तयार करण्याची प्रक्रिया तीन टप्प्यांत होते: प्रश्नाशी सर्वाधिक संबंधित उतारे शोधणे, ते सूचनेत जोडणे आणि मग त्या उताऱ्यांच्या आधारे मॉडेलला उत्तर तयार करू देणे. Anthropic च्या शब्दसंग्रहातही हीच संकल्पना मांडली आहे: प्रश्न विचारला जातो तेव्हा ज्ञानसंग्रहातून संबंधित माहिती शोधली जाते आणि मूळ प्रश्नासोबत मॉडेलला दिली जाते.

हा शब्दप्रयोग पॅट्रिक लुईस आणि त्यांच्या सहकाऱ्यांच्या 2020 मधील संशोधन लेखातून आला आहे. त्यांनी भाषा मॉडेलला कागदपत्रांच्या शोधता येणाऱ्या निर्देशिकेशी जोडले आणि केवळ मॉडेलने दिलेल्या उत्तरांपेक्षा ही उत्तरे अधिक नेमकी व तथ्याधारित असल्याचे आढळले.

1. कागदपत्रे तयार करा

हस्तपुस्तिकेचे तुकडे केले जातात, उदाहरणार्थ प्रत्येक तुकड्यात एक विभाग किंवा काही परिच्छेद, जेणेकरून शोधातून संपूर्ण पुस्तकाऐवजी नेमका संबंधित उतारा मिळू शकेल.

2. अर्थानुसार त्यांची अनुक्रमणिका तयार करा

प्रत्येक तुकड्याचे एम्बेडिंगमध्ये, म्हणजे त्याचा अर्थ दर्शवणाऱ्या संख्यांच्या यादीत रूपांतर केले जाते आणि ते व्हेक्टर डेटाबेसमध्ये साठवले जाते. AWS च्या वर्णनानुसार, या टप्प्यात माहितीचे संख्यात्मक रूपांतरण केले जाते, जेणेकरून ती प्रश्नांशी जुळवता येईल.

3. माहिती मिळवा

प्रश्नाचेही त्याच पद्धतीने रूपांतर केले जाते आणि सर्वात जवळचे मजकूरखंड शोधण्यासाठी निर्देशांकाशी जुळवले जाते. अनेक प्रणाली यासोबत नेहमीचा कीवर्ड शोधही वापरतात.

4. प्रॉम्प्टमध्ये अधिक माहिती जोडा

सर्वाधिक संबंधित मजकूरखंड प्रॉम्प्टमध्ये ठेवले जातात आणि त्यासोबत 'फक्त या उताऱ्यांच्या आधारे उत्तर द्या आणि विभागाचा संदर्भ द्या' अशी सूचना दिली जाते.

5. तयार करा

मॉडेल दिलेल्या मजकुरावरून उत्तर लिहिते; शक्यतो वापरलेले उतारे उद्धृत करते किंवा त्यांचे संदर्भ देते.

RAG वापरून आणि न वापरता दिलेले उत्तर कसे असते?

RAG न वापरल्यास: 'बहुतेक प्रवास कंपन्या विमान कंपनीच्या धोरणानुसार प्रति व्यक्ती सुमारे 50 ते 100 शुल्क आकारून नाव बदलण्याची परवानगी देतात.' हे उपयुक्त वाटते, पण हे टाइडवॉटरचे धोरण नाही आणि ही माहिती कुठून आली हे कोणालाही तपासता येत नाही.

RAG वापरल्यास: प्रणाली मार्गदर्शिकेतील विभाग 4.2 आणि विभाग 4.5 शोधून आणते आणि मॉडेल उत्तर देते: 'होय. विभाग 4.2 नुसार प्रस्थानाच्या 7 दिवस आधीपर्यंत प्रमुख प्रवाशाचे नाव कोणतेही शुल्क न आकारता बदलता येते. विभाग 4.5 नुसार विमानप्रवास समाविष्ट असलेल्या पॅकेजवर विमान कंपनीचे स्वतःचे बदल शुल्क लागू होऊ शकते, जे बुकिंग प्रणालीमध्ये दाखवले जाते. स्रोत: मार्गदर्शिकेतील विभाग 4.2 आणि 4.5.' लिऑन दोन्ही विभाग उघडून काही सेकंदांत उत्तराची खात्री करू शकतो. मार्गदर्शिका बदलल्यास, नवीन आवृत्ती अनुक्रमित होताच उत्तरही बदलते.

तुम्ही RAG कधी वापरावे आणि कधी वापरू नये?

उत्तरे विशिष्ट आणि बदलत राहणाऱ्या दस्तऐवजांच्या संचातूनच मिळणे आवश्यक असेल आणि लोकांना स्रोत पाहता येणे गरजेचे असेल, तेव्हा RAG वापरा. धोरण पुस्तिका, उत्पादनाचे दस्तऐवज, सहाय्यासाठीचे ज्ञानसंग्रह आणि करारांचे संग्रह यांसाठी ते योग्य आहे. Anthropic च्या शब्दसूचीनुसार, अद्ययावत माहिती, विशिष्ट क्षेत्रातील ज्ञान आणि स्रोतांचे स्पष्ट संदर्भ देण्यासाठी ते विशेषतः उपयुक्त आहे.

दस्तऐवज थेट सूचनेत पेस्ट करता येण्याइतके लहान असतील, काम तथ्यांपेक्षा शैली किंवा स्वरूपाशी संबंधित असेल किंवा मूळ दस्तऐवजच अविश्वसनीय असतील, तर RAG हा उपाय नाही. तसेच, ते प्रवेशपरवानग्यांची जागा घेत नाही: एखादा उतारा शोधून आणल्यास, मॉडेल तो पुन्हा सांगू शकते, म्हणून माहिती शोधून आणण्यापूर्वीच प्रवेश नियंत्रणे लागू असली पाहिजेत.

स्रोतांमधून माहिती मिळवून तिच्या आधारे मजकूर तयार करण्याच्या प्रक्रियेत काय चुकू शकते?

RAG मध्ये चूक सहसा उत्तर तयार करताना नव्हे, तर माहिती शोधून आणताना होते: चुकीचा उतारा सापडल्यास मॉडेल त्यावरून आत्मविश्वासाने उत्तर लिहिते. Anthropic नमूद करते की RAG ची परिणामकारकता ज्ञानसंग्रहाच्या आणि शोधून आणलेल्या माहितीच्या गुणवत्तेवर व संबंधिततेवर अवलंबून असते.

चुकीचा किंवा अपूर्ण भाग

अपवाद सांगणारा उतारा नियम असलेल्या मजकुरापेक्षा वेगळ्या तुकड्यात असतो, त्यामुळे उत्तरात तो सुटतो.

कालबाह्य किंवा दुबार आवृत्त्या

या वर्षाच्या नियमपुस्तिकेसोबत गेल्या वर्षाची नियमपुस्तिकाही अजून शोधसूचीत आहे आणि शोधात जुनीच आणली जाते.

मॉडेल मजकुरापासून भरकटते

मॉडेल शोधून आणलेल्या मजकुरात स्वतःचे सामान्य ज्ञान मिसळते. केवळ दिलेल्या स्रोतांवरून उत्तर देण्याच्या सूचना आणि स्पष्टपणे दिसणारे स्रोतसंदर्भ यांमुळे हे ओळखणे सोपे होते.

चांगले उत्तर उपलब्ध नाही

अंदाज बांधण्याऐवजी, कागदपत्रांमध्ये या प्रश्नाची माहिती नाही असे प्रणालीने सांगायला हवे.

Tosheo.ai च्या अभ्यासक्रम सूचीमध्ये RAG कुठे येते?

माहिती पुनर्प्राप्तीवर आधारित निर्मिती हा धडा AI अनुप्रयोग तयार करणे या अभ्यासक्रमातील AI अनुप्रयोगांची बांधणी या विभागात आहे. कंपनीच्या कागदपत्रांवर आधारित AI सहाय्यकांसोबत काम करणाऱ्या कोणासाठीही या धड्यात संकल्पना समजावून सांगितल्या आहेत. नोंदणीनंतर उपलब्ध होणाऱ्या कोडिंग मार्गात एक छोटा RAG अनुप्रयोग प्रत्यक्ष तयार केला जातो. यात कागदपत्रांचे भाग पाडणे आणि एम्बेडिंग तयार करणे यांपासून माहिती पुनर्प्राप्ती आणि संदर्भांसह उत्तरे देण्यापर्यंतच्या पायऱ्या असतात आणि प्रत्येक पायरीवर गुणांकन निकषांनुसार अभिप्राय मिळतो.

स्रोत आणि व्याप्ती

लुईस आणि इतर, ज्ञानाधारित NLP कार्यांसाठी माहितीच्या शोधावर आधारित मजकूर निर्मिती, arXiv 2020 (19 ऑक्टोबर 2026 रोजी तपासले) ↗

Anthropic Claude दस्तऐवजीकरण, RAG साठी शब्दकोशातील नोंद (19 ऑक्टोबर 2026 रोजी तपासले) ↗

एडब्ल्यूएस, माहिती शोधून तिच्या आधारे मजकूरनिर्मिती, एम्बेडिंग्ज आणि व्हेक्टर डेटाबेस म्हणजे काय (19 ऑक्टोबर 2026 रोजी तपासले) ↗

Anthropic Claude दस्तऐवजीकरण, संदर्भ देण्याची सुविधा (19 ऑक्टोबर 2026 रोजी तपासले) ↗