एखादे मॉडेल उत्तम गुण मिळवूनही निरुपयोगी कसे ठरू शकते?
मॉडेल ज्या डेटावर शिकले त्याच डेटावर त्याची चाचणी घेतल्यास त्याला उत्तम गुण मिळूनही ते निरुपयोगी ठरू शकते, कारण नवीन ग्राहकांनाही लागू होणारे काही शिकण्याऐवजी त्याने ती उदाहरणे पाठ केलेली असू शकतात.
पॅन्ट्रीबॉक्स नावाच्या एका काल्पनिक, 120 जणांच्या, जेवणाच्या साहित्याचे संच वर्गणीवर देणाऱ्या व्यवसायाची कल्पना करा. कोफी नावाचा विश्लेषक पुढच्या महिन्यात कोणते वर्गणीदार वर्गणी रद्द करतील याचा अंदाज घेणारे मॉडेल तयार करतो, जेणेकरून ग्राहक टिकवून ठेवणारा संघ त्यांना आधी फोन करू शकेल. ग्राहक विभागाच्या प्रमुख सिआन यांना दिलेल्या त्याच्या अहवालात लिहिले आहे: 'मॉडेल A: 99% अचूकता!! ग्राहक ओळख क्रमांक, पोस्टकोड, मागील प्रत्येक ऑर्डरची तारीख यांसह 85 स्तंभ वापरते. मॉडेल B (साधे, 2 स्तंभ): प्रशिक्षण डेटावर 69%, चाचणी डेटावर 68%. मागच्या महिन्यातील नवीन डेटावर मॉडेल A: 71%. दर महिन्याला सुमारे 30% ग्राहक वर्गणी रद्द करतात.' कोणते मॉडेल वापरावे आणि 99% अचूकतेच्या मॉडेलची मागच्या महिन्यात कामगिरी इतकी वाईट का झाली, हे सिआन यांना जाणून घ्यायचे आहे.
| मॉडेल | प्रशिक्षणातील अचूकता | चाचणीतील अचूकता | ते काय सुचवते |
|---|---|---|---|
| मॉडेल A, 85 स्तंभ | 99% | 71% | अतिजुळवणी: प्रशिक्षणातील ग्राहकांचे तपशील पाठ केले |
| मॉडेल B, 2 स्तंभ | 69% | 68% | अपुरे शिक्षण: नेहमी 'कायम राहते' असा अंदाज बांधण्यापेक्षा जेमतेम चांगले |
ओव्हरफिटिंग आणि अंडरफिटिंगचे निदान टप्प्याटप्प्याने कसे करावे?
प्रशिक्षणासाठी वापरलेल्या डेटावरील कामगिरीची तुलना मॉडेलने कधीही न पाहिलेल्या डेटावरील कामगिरीशी करा आणि या दोन्हींची तुलना एका साध्या आधारभूत पद्धतीच्या कामगिरीशी करा. यामुळे दोन्ही समस्यांचे निदान करता येते. या तीन आकड्यांमधील नमुना तुम्हाला नेमकी कोणती समस्या आहे हे सांगतो.
1. काही डेटा राखून ठेवा
प्रशिक्षणापूर्वी चाचणी डेटाचा असा संच बाजूला ठेवा जो मॉडेलला कधीही दाखवला जाणार नाही. मॉडेल ज्या डेटावर शिकले, त्याच डेटावर त्याची चाचणी घेणे ही मूलभूत चूक आहे. कारण पाहिलेल्या गोष्टी केवळ पुन्हा सांगणाऱ्या मॉडेलला पूर्ण गुण मिळतील, पण ते कोणताही अंदाज बांधू शकणार नाही.
2. तुलनेसाठी आधाररेषा ठरवा
अगदी साध्या नियमाला किती गुण मिळतील ते काढा. पॅन्ट्रीबॉक्समध्ये दर महिन्याला सुमारे 70% ग्राहक टिकून राहतात, त्यामुळे प्रत्येकासाठी 'टिकून राहतो' असा अंदाज लावल्यास सुमारे 70% गुण मिळतात. उपयुक्त मॉडेलची कामगिरी यापेक्षा स्पष्टपणे चांगली असली पाहिजे.
3. प्रशिक्षण आणि चाचणी यांची तुलना करा
प्रशिक्षणात जास्त गुण आणि चाचणीत त्यापेक्षा बरेच कमी गुण मिळणे हे अतिजुळवणीचे लक्षण आहे. दोन्हीत आधारभूत पातळीच्या जवळचे कमी गुण मिळणे हे अपुऱ्या जुळवणीचे लक्षण आहे. दोन्हीत सारखेच चांगले गुण मिळणे योग्य जुळवणी सूचित करते.
4. स्थिरता तपासा
परस्पर-पडताळणीत प्रशिक्षण डेटाच्या वेगवेगळ्या भागांवर मॉडेलला अनेकदा प्रशिक्षण दिले जाते आणि त्याची चाचणी घेतली जाते, नंतर निकालांची सरासरी काढली जाते. वेगवेगळ्या भागांतील गुणांमध्ये मोठा फरक पडत असेल, तर मॉडेल अस्थिर आहे.
5. समस्येला साजेसा उपाय निवडा
अतिजुळवणी आणि अपुरी जुळवणी यांवर परस्परविरुद्ध उपाय लागतात, म्हणून काहीही बदलण्यापूर्वी समस्या कोणती आहे ते ओळखा.
ओव्हरफिटिंग आणि अंडरफिटिंग कसे दूर करावे?
अतिजुळवणी सुधारण्यासाठी मॉडेल सोपे करा किंवा त्याच्या डेटात अधिक प्रातिनिधिक उदाहरणे समाविष्ट करा. अपुरे जुळणे सुधारण्यासाठी मॉडेलला अधिक उपयुक्त माहिती द्या किंवा त्याची लवचिकता वाढवा. सोप्या शब्दांत:
अतिजुळवणीसाठी
वर्तनाऐवजी व्यक्तींची ओळख पटवणारे स्तंभ काढा, उदाहरणार्थ ग्राहक ओळख क्रमांक; तुम्ही प्रत्यक्षात ज्या ग्राहकांना गुण देणार आहात त्यांचे प्रतिनिधित्व करणारा प्रशिक्षण डेटा वापरा; अधिक साध्या मॉडेलला प्राधान्य द्या; आणि नियमितीकरण वापरा. नियमितीकरण प्रशिक्षणादरम्यान गुंतागुंतीला दंड लावते, त्यामुळे मॉडेल अधिक साध्या आकृतिबंधांना प्राधान्य देते.
अपुरे जुळण्यासाठी
रद्द करण्याशी संबंध असू शकणारी वैशिष्ट्ये जोडा, जसे की वगळलेल्या वितरण फेऱ्या, अलीकडील तक्रारी किंवा किमतीतील बदल; अधिक लवचिक मॉडेल वापरण्याची मुभा द्या; आणि डेटामध्ये इतका गोंधळ किंवा इतक्या चुकीच्या वर्गवारी नाहीत ना, की कोणतेही मॉडेल त्यातून शिकूच शकणार नाही, हे तपासा.
दोन्हींसाठी
चाचणी डेटासंच शेवटपर्यंत वापरू नका. चाचणी डेटासंचाच्या आधारे मॉडेलमध्ये वारंवार सुधारणा केल्यास, त्यातील माहिती मॉडेलमध्ये झिरपते आणि चाचणीतील गुण हे कामगिरीचा विश्वासार्ह अंदाज राहत नाहीत.
ग्राहक गमावण्याचा अंदाज वर्तवणाऱ्या मॉडेलबाबतचा कमकुवत आणि सुधारित निर्णय कसा असतो?
कमकुवत निर्णयात मॉडेल A निवडले जाते, कारण स्लाइडवरील सर्वात मोठा आकडा 99% आहे. प्रत्यक्ष वापरात ते अंदाज बांधण्यापेक्षा जेमतेम चांगले ठरते, आणि ग्राहक टिकवून ठेवणारी टीम कधीच सोडून जाणार नसलेल्या ग्राहकांना फोन करण्यात वेळ वाया घालवते.
सुधारित निर्णय असा आहे: 'मॉडेल A ने वैयक्तिक ग्राहक पाठ केले: त्यात ग्राहक ID आणि ऑर्डरच्या अचूक तारखा आहेत, त्यामुळे लोक सेवा का रद्द करतात हे शिकण्याऐवजी त्याने आधी पाहिलेले लोक ओळखले. 70% च्या आधाररेषेपेक्षा चांगले काम करण्यासाठी मॉडेल B खूपच साधे आहे. पुढील टप्पा: मॉडेल C मध्ये ग्राहक ID आणि पोस्टकोड काढून टाकून वर्तनाशी संबंधित सहा वैशिष्ट्ये वापरली आहेत. त्यांत मागील महिन्यात वगळलेल्या डिलिव्हरी, मदत विनंत्या आणि शेवटच्या मेनू बदलापासून झालेले आठवडे यांचा समावेश आहे. लक्ष्य: ग्राहक टिकवून ठेवणाऱ्या टीमने त्यावर अवलंबून राहण्यापूर्वी, पाच-भागी क्रॉस-व्हॅलिडेशनने तपासलेला चाचणी गुण 70% पेक्षा स्पष्टपणे जास्त आणि प्रशिक्षण गुणापासून काही गुणांच्या अंतरात असावा.' 99% गुणांचे मॉडेल का अपयशी ठरले आणि चांगला निकाल कसा असतो, हे आता Sian ला समजले आहे.
मॉडेल ओव्हरफिट किंवा अंडरफिट झालेले नाही हे कसे तपासावे?
मॉडेल तपासताना त्याचा चाचणी गुण प्रशिक्षण गुणाच्या जवळ आहे, आधारभूत कामगिरीपेक्षा स्पष्टपणे चांगला आहे आणि क्रॉस-व्हॅलिडेशनच्या वेगवेगळ्या विभागांत तसेच नव्या महिन्याच्या डेटावरही स्थिर राहतो याची खात्री करा. तसेच, कोणतेही वैशिष्ट्य केवळ परिणाम घडल्यानंतरच समजणारे आहे का, हे विचारा; उदाहरणार्थ, रद्द करण्याचे कारण. ही माहितीची गळती आहे आणि तिच्यामुळे दोन्ही गुण मॉडेलच्या प्रत्यक्ष क्षमतेपेक्षा चांगले दिसतात.
अतिजुळवणी आणि अपुरी जुळवणी यांबाबत होणाऱ्या सामान्य चुका कोणत्या?
सर्वात सामान्य चूक म्हणजे प्रशिक्षणातील अचूकता हीच प्रत्यक्ष वापरातील अचूकता असल्यासारखी मांडणे. इतर चुका: मूलभूत तुलनात्मक पातळीकडे दुर्लक्ष करणे, त्यामुळे केवळ अंदाजानेही मिळणारे 70% प्रभावी वाटणे; जास्त गुण मिळतील या आशेने उपलब्ध प्रत्येक स्तंभ जोडणे; मॉडेलचे मापदंड जुळवताना चाचणी संच पाहणे; आणि ओव्हरफिटिंग झाल्यास गुंतागुंत वाढवणे, जरी बहुतेक वेळा उलट करण्याची गरज असते.
Tosheo.ai मध्ये हा धडा कुठे येतो?
हा धडा मशीन लर्निंग विभागातील आहे आणि मशीन लर्निंग अभ्यासक्रमात मॉडेलच्या परिचयानंतर येतो. Tosheo.ai मधील प्रत्यक्ष कृतीच्या कामात तुम्हाला तपासणीसाठी एका काल्पनिक मॉडेलचा अहवाल दिला जातो. सुधारणा सुचवण्याआधी तुम्ही प्रशिक्षण, चाचणी आणि आधाररेषेचे निकाल यांची तुलना केली का, हे गुणांकन मार्गदर्शकावर आधारित अभिप्रायात तपासले जाते. डेटा टीमसोबत काम करण्यासाठीचा हा व्यावसायिक पाया आहे; ऐच्छिक प्रोग्रामिंग मार्गात कोड वापरून मॉडेलचे प्रशिक्षण आणि मूल्यमापन शिकवले जाते.
स्रोत आणि व्याप्ती
Google मशीन लर्निंगचा संक्षिप्त अभ्यासक्रम: अतिजुळवणी (19 October 2026 रोजी तपासले) ↗
scikit-learn वापरकर्ता मार्गदर्शिका: क्रॉस-व्हॅलिडेशन (19 October 2026 रोजी तपासले) ↗