RAG কোন সমস্যার সমাধান করে?
AI মডেল আপনার প্রতিষ্ঠানের নথি জানে না, অথবা বিশ্ব সম্পর্কে তার জানা তথ্য পুরোনো—RAG এই সমস্যার সমাধান করে। মডেলকে নতুন করে প্রশিক্ষণ দেওয়ার বদলে, উত্তর দেওয়ার সময়ই তাকে সঠিক অনুচ্ছেদগুলো দেওয়া হয়।
টাইডওয়াটার ট্রাভেল নামে 50 জনের একটি কাল্পনিক ট্যুর অপারেটরের কথা ভাবুন। এর বুকিং দল 90 পৃষ্ঠার শর্তাবলি ও কার্যপদ্ধতির নির্দেশিকা নিয়ে একই প্রশ্ন বারবার করে। দলনেতা লিওন একটি সাধারণ চ্যাটবটকে জিজ্ঞেস করেছিলেন: 'যাত্রার 10 দিন আগে কি গ্রাহক প্রধান যাত্রীর নাম বদলাতে পারেন, আর এর জন্য কি কোনো ফি আছে?' চ্যাটবটটি আত্মবিশ্বাসের সঙ্গে বিমান সংস্থার নিয়ম এবং এমন একটি ফি নিয়ে সাধারণ উত্তর দিয়েছিল, যা টাইডওয়াটার নেয় না। সঠিক উত্তরটি নির্দেশিকার 4.2 অংশে আছে, যা চ্যাটবট কখনো দেখেনি।
তথ্য পুনরুদ্ধারের সহায়তায় উত্তর তৈরির প্রক্রিয়া কীভাবে কাজ করে?
তথ্য খুঁজে এনে সমৃদ্ধ উত্তর তৈরি করার পদ্ধতি তিনটি ধাপে কাজ করে: প্রশ্নের সঙ্গে সবচেয়ে প্রাসঙ্গিক অংশগুলি খুঁজে বের করা, সেগুলি প্রম্পটে যোগ করা, তারপর মডেলকে সেগুলির ভিত্তিতে উত্তর তৈরি করতে দেওয়া। Anthropic-এর পরিভাষার তালিকাতেও একই ধারণা বর্ণনা করা হয়েছে: প্রশ্ন করার সময় জ্ঞানভান্ডার থেকে প্রাসঙ্গিক তথ্য খুঁজে এনে মূল প্রশ্নের সঙ্গে মডেলকে দেওয়া হয়।
শব্দটির উৎস প্যাট্রিক লুইস ও তাঁর সহকর্মীদের 2020 সালের একটি গবেষণাপত্র। তাঁরা একটি ভাষা মডেলের সঙ্গে নথির অনুসন্ধানযোগ্য সূচি যুক্ত করে দেখেন, শুধু মডেল ব্যবহারের তুলনায় এতে উত্তর আরও নির্দিষ্ট ও তথ্যনিষ্ঠ হয়।
1. নথিগুলো প্রস্তুত করুন
হ্যান্ডবুকটি ছোট ছোট অংশে ভাগ করা হয়, যেমন প্রতিটি অংশে একটি বিভাগ বা কয়েকটি অনুচ্ছেদ, যাতে অনুসন্ধানে পুরো বইয়ের বদলে নির্দিষ্ট বিষয়ের একটি অংশ পাওয়া যায়।
2. অর্থের ভিত্তিতে সেগুলোর সূচি তৈরি করুন
প্রতিটি খণ্ডকে একটি এমবেডিংয়ে রূপান্তর করে ভেক্টর ডেটাবেসে রাখা হয়। এমবেডিং হলো সংখ্যার একটি তালিকা, যা খণ্ডটির অর্থ প্রকাশ করে। AWS এই ধাপকে তথ্যের সাংখ্যিক উপস্থাপনায় রূপান্তর হিসেবে বর্ণনা করে, যাতে প্রশ্নের সঙ্গে তা মেলানো যায়।
3. তথ্য উদ্ধার করুন
প্রশ্নটিও একইভাবে রূপান্তর করা হয় এবং সবচেয়ে কাছাকাছি খণ্ডগুলো খুঁজতে সূচির সঙ্গে মেলানো হয়। অনেক ব্যবস্থা এর পাশাপাশি সাধারণ মূল শব্দভিত্তিক অনুসন্ধানও ব্যবহার করে।
4. প্রম্পটে আরও প্রাসঙ্গিক তথ্য যোগ করুন
সবচেয়ে প্রাসঙ্গিক অংশগুলো প্রম্পটে দেওয়া হয়, সঙ্গে এমন নির্দেশ থাকে: 'শুধু এই অংশগুলো থেকে উত্তর দিন এবং সংশ্লিষ্ট বিভাগের সূত্র উল্লেখ করুন'।
5. তৈরি করুন
মডেল সরবরাহ করা লেখা থেকে উত্তর লেখে; আদর্শভাবে, যে অংশগুলো ব্যবহার করেছে সেগুলো উদ্ধৃত করে বা সেগুলোর সূত্র উল্লেখ করে।
RAG ব্যবহার করলে ও না করলে উত্তর কেমন হয়?
RAG ছাড়া: 'বেশির ভাগ ভ্রমণ সংস্থা বিমান সংস্থার নীতি সাপেক্ষে জনপ্রতি প্রায় 50 থেকে 100 ফি নিয়ে নাম পরিবর্তন করতে দেয়।' কথাটি সহায়ক মনে হলেও এটি টাইডওয়াটারের নীতি নয়, আর তথ্যটি কোথা থেকে এসেছে, তা কেউ যাচাই করতে পারেন না।
RAG ব্যবহার করলে: সিস্টেম হ্যান্ডবুকের 4.2 ও 4.5 ধারা খুঁজে আনে, আর মডেল উত্তর দেয়: 'হ্যাঁ। 4.2 ধারা অনুযায়ী যাত্রা শুরুর 7 দিন আগে পর্যন্ত প্রধান যাত্রীর নাম বিনা খরচে পরিবর্তন করা যায়। 4.5 ধারায় বলা হয়েছে, ফ্লাইটসহ প্যাকেজের ক্ষেত্রে বিমান সংস্থার নিজস্ব পরিবর্তন ফি প্রযোজ্য হতে পারে, যা বুকিং সিস্টেমে দেখানো হয়। সূত্র: হ্যান্ডবুকের 4.2 ও 4.5 ধারা।' লিওন দুটি ধারা খুলে কয়েক সেকেন্ডেই উত্তরটি যাচাই করতে পারেন। হ্যান্ডবুক বদলালে নতুন সংস্করণ সূচিভুক্ত হওয়ার সঙ্গে সঙ্গেই উত্তরও বদলে যায়।
কখন RAG ব্যবহার করা উচিত, আর কখন নয়?
উত্তর যখন নির্দিষ্ট ও পরিবর্তনশীল কিছু নথি থেকে আসতে হবে এবং মানুষের উৎস দেখা প্রয়োজন, তখন RAG ব্যবহার করুন। নীতিমালার নির্দেশিকা, পণ্যের নথিপত্র, সহায়তার জ্ঞানভান্ডার ও চুক্তির সংগ্রহের জন্য এটি উপযোগী। Anthropic-এর শব্দকোষ অনুযায়ী, হালনাগাদ তথ্য, নির্দিষ্ট ক্ষেত্রের জ্ঞান এবং উৎসের সুস্পষ্ট উদ্ধৃতির জন্য এটি বিশেষভাবে কার্যকর।
নথিগুলো সরাসরি প্রম্পটে পেস্ট করার মতো ছোট হলে, কাজটি তথ্যের বদলে লেখার ধরন বা বিন্যাস নিয়ে হলে, অথবা উৎস নথিগুলোই অবিশ্বস্ত হলে RAG সমাধান নয়। এটি অনুমতির ব্যবস্থারও বিকল্প নয়: কোনো অনুচ্ছেদ উদ্ধার করা হলে মডেল সেটি পুনরাবৃত্তি করতে পারে, তাই উদ্ধারের আগেই প্রবেশাধিকার নিয়ন্ত্রণ কার্যকর করতে হবে।
তথ্য পুনরুদ্ধারের সহায়তায় উত্তর তৈরির প্রক্রিয়ায় কীভাবে ভুল হয়?
RAG-এ সাধারণত উত্তর তৈরির চেয়ে তথ্য উদ্ধারের ধাপেই বেশি ভুল হয়: ভুল অনুচ্ছেদ পাওয়া গেলে মডেল সেটি থেকেই আত্মবিশ্বাসের সঙ্গে উত্তর লেখে। Anthropic জানায়, RAG কতটা কার্যকর হবে তা নির্ভর করে জ্ঞানভান্ডার ও উদ্ধার করা তথ্যের মান এবং প্রাসঙ্গিকতার ওপর।
ভুল বা আংশিক খণ্ড
ব্যতিক্রমটি যে অংশে আছে, সেটি নিয়মের অংশ থেকে আলাদা খণ্ডে থাকায় উত্তরে সেটি বাদ পড়ে যায়।
পুরোনো বা একই সংস্করণের একাধিক কপি
গত বছরের নির্দেশিকাটি এখনও এ বছরের নির্দেশিকার পাশাপাশি সূচিভুক্ত আছে, আর খুঁজে আনা হচ্ছে পুরোনোটিই।
মডেল মূল পাঠ্য থেকে সরে যায়
মডেলটি খুঁজে আনা লেখার সঙ্গে নিজের সাধারণ জ্ঞান মিশিয়ে ফেলে। শুধু উৎস থেকে উত্তর দেওয়ার নির্দেশ এবং দৃশ্যমান সূত্র উল্লেখ থাকলে এটি শনাক্ত করা সহজ হয়।
কোনো ভালো উত্তর নেই
অনুমান করার বদলে সিস্টেমের বলা উচিত যে নথিগুলোতে এই প্রশ্নের উত্তর নেই।
Tosheo.ai-এর পাঠ্যতালিকায় RAG কোথায় রয়েছে?
তথ্য উদ্ধার-সমৃদ্ধ উত্তর তৈরি পাঠটি AI অ্যাপ তৈরির কোর্সে, AI অ্যাপ নির্মাণ বিভাগে রয়েছে। প্রতিষ্ঠানের নথির ভিত্তিতে তৈরি AI সহকারী নিয়ে যাঁরা কাজ করেন, তাঁদের জন্য এই পাঠে ধারণাটি ব্যাখ্যা করা হয়েছে। নিবন্ধনের পর কোডভিত্তিক শিক্ষাধারায় হাতে-কলমে একটি ছোট RAG অ্যাপ তৈরি করা হয়—নথি ভাগ করা ও এমবেডিং তৈরি থেকে শুরু করে তথ্য উদ্ধার এবং উৎস উল্লেখসহ উত্তর দেওয়া পর্যন্ত। প্রতিটি ধাপে মূল্যায়ন নির্দেশিকা অনুযায়ী প্রতিক্রিয়া দেওয়া হয়।
উৎস ও পরিধি
Anthropic Claude-এর নির্দেশিকা, শব্দকোষে RAG-এর সংজ্ঞা (যাচাই করা হয়েছে 19 October 2026) ↗
Anthropic Claude-এর নির্দেশিকা, তথ্যসূত্র উল্লেখের সুবিধা (যাচাই করা হয়েছে 19 October 2026) ↗