कोई मॉडल शानदार अंक लाने के बाद भी बेकार कैसे हो सकता है?
कोई मॉडल बहुत अच्छे अंक पाने के बाद भी बेकार साबित हो सकता है, अगर उसका परीक्षण उसी डेटा पर किया जाए जिससे उसने सीखा था। हो सकता है उसने नए ग्राहकों पर लागू होने वाली बात सीखने के बजाय उन उदाहरणों को याद भर कर लिया हो।
120 लोगों वाले एक काल्पनिक मील-किट सब्सक्रिप्शन व्यवसाय, पैंट्रीबॉक्स, की कल्पना करें। कोफ़ी नाम का एक विश्लेषक ऐसा मॉडल बनाता है जो अनुमान लगाए कि कौन-से ग्राहक अगले महीने सब्सक्रिप्शन रद्द करेंगे, ताकि ग्राहकों को बनाए रखने वाली टीम पहले उन्हें फ़ोन कर सके। ग्राहक सेवा प्रमुख, सियान, को भेजे उसके अपडेट में लिखा है: 'मॉडल A: 99% सटीकता!! 85 कॉलम इस्तेमाल करता है, जिनमें ग्राहक की पहचान संख्या, पोस्टकोड और हर पिछले ऑर्डर की तारीख शामिल है। मॉडल B (सरल, 2 कॉलम): प्रशिक्षण डेटा पर 69%, परीक्षण डेटा पर 68%। पिछले महीने के नए डेटा पर मॉडल A: 71%। हर महीने लगभग 30% ग्राहक रद्द करते हैं।' सियान जानना चाहती हैं कि कौन-सा मॉडल इस्तेमाल किया जाए और 99% वाले मॉडल ने पिछले महीने इतना खराब प्रदर्शन क्यों किया।
| मॉडल | प्रशिक्षण की सटीकता | परीक्षण में सटीकता | यह क्या सुझाव देता है |
|---|---|---|---|
| मॉडल A, 85 स्तंभ | 99% | 71% | ओवरफिटिंग: प्रशिक्षण में शामिल ग्राहकों का विवरण रट लिया |
| मॉडल B, 2 स्तंभ | 69% | 68% | अंडरफ़िटिंग: हर बार 'बना रहता है' का अनुमान लगाने से बस थोड़ा ही बेहतर |
आप ओवरफ़िटिंग और अंडरफ़िटिंग की पहचान चरण-दर-चरण कैसे करते हैं?
दोनों समस्याओं की पहचान करने के लिए प्रशिक्षण डेटा पर मॉडल के प्रदर्शन की तुलना ऐसे डेटा पर उसके प्रदर्शन से करें जिसे उसने पहले कभी नहीं देखा है, और दोनों की तुलना एक सरल आधारभूत मानक से करें। इन तीन संख्याओं का पैटर्न बताता है कि कौन-सी समस्या है।
1. कुछ डेटा अलग रखें
प्रशिक्षण से पहले परीक्षण के लिए डेटा का एक अलग समूह रखें, जिसे मॉडल कभी न देखे। मॉडल को उसी डेटा पर परखना जिससे उसने सीखा है, एक बुनियादी गलती है, क्योंकि देखा हुआ डेटा केवल दोहराने वाला मॉडल भी पूरे अंक पा लेता है, जबकि वह कोई पूर्वानुमान नहीं लगा पाता।
2. तुलना के लिए आधार स्तर तय करें
निकालें कि एक बहुत साधारण नियम को कितना स्कोर मिलेगा। पैंट्रीबॉक्स में हर महीने लगभग 70% ग्राहक बने रहते हैं, इसलिए हर ग्राहक के लिए 'बना रहेगा' का अनुमान लगाने पर लगभग 70% स्कोर मिलता है। एक उपयोगी मॉडल को इससे साफ़ तौर पर बेहतर स्कोर हासिल करना चाहिए।
3. प्रशिक्षण और परीक्षण की तुलना करें
प्रशिक्षण में ऊँचा स्कोर और परीक्षण में उससे बहुत कम स्कोर ओवरफिटिंग का संकेत है। दोनों में कम और आधारभूत स्कोर के करीब स्कोर अंडरफिटिंग का संकेत हैं। दोनों में अच्छे और लगभग समान स्कोर उचित फिट का संकेत देते हैं।
4. स्थिरता जाँचें
क्रॉस-वैलिडेशन में मॉडल को प्रशिक्षण डेटा के अलग-अलग हिस्सों पर कई बार प्रशिक्षित और परखा जाता है, फिर नतीजों का औसत निकाला जाता है। अगर अलग-अलग हिस्सों के स्कोर में बहुत उतार-चढ़ाव हो, तो मॉडल भरोसेमंद नहीं है।
5. समस्या के अनुरूप समाधान चुनें
ओवरफिटिंग और अंडरफिटिंग के उपाय एक-दूसरे के विपरीत हैं, इसलिए कुछ भी बदलने से पहले समस्या पहचानें।
ओवरफ़िटिंग और अंडरफ़िटिंग को कैसे ठीक करें?
ओवरफिटिंग को ठीक करने के लिए मॉडल को सरल बनाएँ या उसके डेटा को वास्तविक परिस्थितियों का बेहतर प्रतिनिधि बनाएँ। अंडरफिटिंग को ठीक करने के लिए मॉडल को अधिक उपयोगी जानकारी दें या उसमें अधिक लचीलापन लाएँ। सरल शब्दों में:
ओवरफिटिंग के लिए
ग्राहक पहचान संख्या जैसे वे कॉलम हटाएँ जो व्यवहार के बजाय व्यक्ति की पहचान बताते हैं; ऐसा प्रशिक्षण डेटा इस्तेमाल करें जो उन ग्राहकों का प्रतिनिधित्व करे जिनका आप वास्तव में आकलन करेंगे; सरल मॉडल को प्राथमिकता दें; और नियमितीकरण लागू करें, जो प्रशिक्षण के दौरान जटिलता पर दंड लगाता है ताकि मॉडल सरल पैटर्न को प्राथमिकता दे।
अंडरफिटिंग के लिए
ऐसी विशेषताएँ जोड़ें जिनका रद्द करने से उचित संबंध हो सकता है, जैसे छूटी हुई डिलीवरी, हाल की शिकायतें या कीमत में बदलाव; अधिक लचीले मॉडल का उपयोग करने दें; और जाँचें कि डेटा में इतना शोर या इतने गलत लेबल तो नहीं हैं कि कोई भी मॉडल उससे सीख ही न सके।
दोनों के लिए
परीक्षण डेटा को अंत तक इस्तेमाल न करें। अगर आप परीक्षण डेटा के आधार पर मॉडल को बार-बार समायोजित करते हैं, तो उसकी जानकारी मॉडल में पहुँच जाती है और परीक्षण का स्कोर निष्पक्ष अनुमान नहीं रह जाता।
ग्राहकों के छोड़कर जाने का अनुमान लगाने वाले मॉडल पर आधारित कमजोर और बेहतर निर्णय कैसा होता है?
कमज़ोर निर्णय में मॉडल A चुना जाता है, क्योंकि स्लाइड पर 99% सबसे बड़ा आँकड़ा है। असल इस्तेमाल में यह अनुमान लगाने से बमुश्किल बेहतर है, और ग्राहकों को बनाए रखने वाली टीम उन ग्राहकों को फ़ोन करने में समय गँवाती है जो कभी छोड़कर जाने वाले ही नहीं थे।
बेहतर किए गए निर्णय में लिखा है: 'मॉडल A ने अलग-अलग ग्राहकों को याद कर लिया था: इसमें ग्राहक ID और ऑर्डर की सटीक तारीखें शामिल हैं, इसलिए इसने यह सीखने के बजाय कि लोग सेवा क्यों रद्द करते हैं, पहले देखे हुए लोगों को पहचान लिया। मॉडल B इतना सरल है कि वह 70% के आधारभूत स्तर से बेहतर नहीं कर सकता। अगला कदम: मॉडल C व्यवहार से जुड़ी छह विशेषताओं का इस्तेमाल करता है, जिनमें पिछले महीने छोड़ी गई डिलीवरी, सहायता के लिए दर्ज अनुरोध और मेन्यू में पिछले बदलाव के बाद बीते सप्ताह शामिल हैं। ग्राहक ID और पोस्टकोड हटा दिए गए हैं। लक्ष्य: ग्राहक बनाए रखने वाली टीम के इस पर निर्भर होने से पहले, पाँच-भागीय क्रॉस-वैलिडेशन से जाँचा गया परीक्षण स्कोर 70% से स्पष्ट रूप से ऊपर और प्रशिक्षण स्कोर से कुछ ही अंकों के अंतर में हो।' सियान अब जानती हैं कि 99% वाला मॉडल क्यों विफल हुआ और अच्छे नतीजे कैसे होने चाहिए।
आप कैसे जाँचते हैं कि किसी मॉडल में न ओवरफ़िटिंग हुई है, न अंडरफ़िटिंग?
मॉडल की जाँच के लिए पुष्टि करें कि उसका परीक्षण स्कोर उसके प्रशिक्षण स्कोर के करीब है, आधारभूत मॉडल से स्पष्ट रूप से बेहतर है, और क्रॉस-वैलिडेशन के अलग-अलग हिस्सों तथा एक नए महीने के डेटा पर स्थिर रहता है। यह भी पूछें कि क्या किसी विशेषता का पता नतीजा आने के बाद ही चल सकता है, जैसे रद्द करने का कारण। यह डेटा का रिसाव है, और इससे दोनों स्कोर ऐसे दिखते हैं मानो मॉडल वास्तव में जितना अच्छा है उससे बेहतर हो।
ओवरफ़िटिंग और अंडरफ़िटिंग के मामले में आम तौर पर कौन-सी गलतियाँ होती हैं?
सबसे आम गलती प्रशिक्षण की सटीकता को ऐसे बताना है जैसे वही वास्तविक दुनिया की सटीकता हो। अन्य गलतियाँ हैं: आधार स्तर को नज़रअंदाज़ करना, जिससे 70% प्रभावशाली लगता है जबकि अंदाज़ा लगाने से भी इतना हासिल हो जाता है; अधिक अंक मिलने की उम्मीद में हर उपलब्ध कॉलम जोड़ना; मॉडल में सुधार करते समय परीक्षण डेटा को देखना; और प्रशिक्षण डेटा पर अत्यधिक फिट होने को जटिलता बढ़ाने का कारण मानना, जबकि आम तौर पर इसका उलटा करना चाहिए।
Tosheo.ai में इस पाठ की क्या जगह है?
यह पाठ मशीन लर्निंग श्रेणी में है और मशीन लर्निंग पाठ्यक्रम में मॉडलों के परिचय के बाद आता है। Tosheo.ai में व्यावहारिक कार्य आपको समस्याएँ पहचानने के लिए एक काल्पनिक मॉडल रिपोर्ट देता है। मूल्यांकन मानदंडों पर आधारित प्रतिक्रिया जाँचती है कि आपने सुधार सुझाने से पहले प्रशिक्षण, परीक्षण और आधाररेखा के परिणामों की तुलना की या नहीं। यह डेटा टीमों के साथ काम करने की पेशेवर बुनियाद है; वैकल्पिक कोड अध्ययन-पथ में कोड के ज़रिए मॉडलों को प्रशिक्षित करना और उनका मूल्यांकन करना शामिल है।
स्रोत और दायरा
Google मशीन लर्निंग का संक्षिप्त पाठ्यक्रम: ओवरफ़िटिंग (19 October 2026 को जाँचा गया) ↗
scikit-learn उपयोगकर्ता मार्गदर्शिका: क्रॉस-वैलिडेशन (19 October 2026 को जाँचा गया) ↗