મોડેલ ઉત્તમ ગુણ મેળવ્યા પછી પણ બિનઉપયોગી કેમ હોઈ શકે?
મોડેલને જે માહિતી પરથી શીખવવામાં આવ્યું હોય એ જ માહિતી પર તેનું પરીક્ષણ કરવામાં આવે તો તે ઉત્તમ ગુણ મેળવીને પણ નકામું હોઈ શકે છે, કારણ કે તેણે નવા ગ્રાહકોને લાગુ પડે એવું કંઈક શીખવાને બદલે તે ઉદાહરણો યાદ રાખ્યાં હોઈ શકે છે.
120 લોકોના એક કાલ્પનિક ભોજન-કિટ સબ્સ્ક્રિપ્શન વ્યવસાય, પેન્ટ્રીબૉક્સની કલ્પના કરો. વિશ્લેષક કોફી આવતા મહિને કયા ગ્રાહકો સબ્સ્ક્રિપ્શન રદ કરશે તેની આગાહી કરતું મોડેલ બનાવે છે, જેથી ગ્રાહકોને જાળવી રાખતી ટીમ પહેલાં તેમને ફોન કરી શકે. ગ્રાહક વિભાગનાં વડાં સિયાનને આપેલી તેની જાણકારીમાં લખ્યું છે: 'મોડેલ A: 99% ચોકસાઈ!! ગ્રાહક ID, પોસ્ટકોડ, અગાઉના દરેક ઓર્ડરની તારીખ સહિત 85 કૉલમ વાપરે છે. મોડેલ B (સરળ, 2 કૉલમ): તાલીમ ડેટા પર 69%, પરીક્ષણ ડેટા પર 68%. ગયા મહિનાના નવા ડેટા પર મોડેલ A: 71%. દર મહિને લગભગ 30% ગ્રાહકો સબ્સ્ક્રિપ્શન રદ કરે છે.' સિયાન જાણવા માગે છે કે કયું મોડેલ વાપરવું અને 99% વાળું મોડેલ ગયા મહિને આટલું ખરાબ કેમ રહ્યું.
| મોડેલ | તાલીમની ચોકસાઈ | ચોકસાઈની કસોટી કરો | તે શું સૂચવે છે |
|---|---|---|---|
| મોડેલ A, 85 કૉલમ | 99% | 71% | અતિશય અનુકૂલન: તાલીમ ડેટામાંના ગ્રાહકોની વિગતો ગોખી લીધી |
| મોડેલ B, 2 કૉલમ | 69% | 68% | અપૂરતું શીખવું: હંમેશાં 'રહેશે' એવો અંદાજ લગાવવા કરતાં માંડ સારું પરિણામ આપે છે |
મોડેલ તાલીમના ડેટાને વધુ પડતું અનુરૂપ થયું છે કે તેમાંથી પૂરતું શીખ્યું નથી તે ક્રમશઃ કેવી રીતે પારખવું?
તાલીમના ડેટા પરની કામગીરીની સરખામણી મોડેલે પહેલાં ક્યારેય ન જોયેલા ડેટા પરની કામગીરી સાથે કરીને અને બંનેની સરખામણી એક સરળ આધારરેખા સાથે કરીને બંને સમસ્યાઓ ઓળખો. આ ત્રણ આંકડાની પેટર્ન તમને જણાવે છે કે કઈ સમસ્યા છે.
1. ડેટા આપવાનું ટાળો
તાલીમ પહેલાં, મોડેલને ક્યારેય જોવા ન મળે એવો પરીક્ષણ ડેટાનો સમૂહ અલગ રાખો. મોડેલ જે ડેટામાંથી શીખ્યું હોય તેના પર જ તેનું પરીક્ષણ કરવું એ પાયાની ભૂલ છે, કારણ કે જોયેલું જ પુનરાવર્તિત કરતું મોડેલ સંપૂર્ણ ગુણ મેળવે છે, પણ કશાની આગાહી કરતું નથી.
2. સરખામણી માટે આધારસ્તર નક્કી કરો
એક સાદા નિયમથી કેટલો ગુણ મળે તે ગણો. પૅન્ટ્રીબૉક્સમાં દર મહિને લગભગ 70% ગ્રાહકો ચાલુ રહે છે, એટલે દરેક માટે 'ચાલુ રહેશે' એવો અંદાજ લગાવવાથી લગભગ 70% ગુણ મળે છે. ઉપયોગી મોડેલે આના કરતાં સ્પષ્ટ રીતે વધુ સારું પરિણામ આપવું જોઈએ.
3. તાલીમ અને પરીક્ષણની સરખામણી કરો
તાલીમનો ઊંચો સ્કોર અને તેની સરખામણીમાં ઘણો ઓછો પરીક્ષણનો સ્કોર અતિઅનુકૂલન સૂચવે છે. બંનેમાં આધારરેખાની નજીકના ઓછા સ્કોર અલ્પઅનુકૂલન સૂચવે છે. બંનેમાં સમાન અને સારા સ્કોર યોગ્ય અનુકૂલન સૂચવે છે.
4. સ્થિરતા તપાસો
પરસ્પર ચકાસણીમાં તાલીમના ડેટાના જુદા જુદા ભાગો પર મોડેલને અનેક વાર તાલીમ આપીને તેનું પરીક્ષણ કરવામાં આવે છે અને પરિણામોની સરેરાશ લેવામાં આવે છે. જો જુદા ભાગોમાં સ્કોરમાં મોટો ફેરફાર થાય, તો મોડેલ ભરોસાપાત્ર નથી.
5. સમસ્યાને અનુરૂપ ઉકેલ પસંદ કરો
અતિશય અનુકૂલન અને અપૂરતા અનુકૂલન માટે એકબીજાથી વિપરીત ઉપાયો જરૂરી છે, તેથી કંઈ પણ બદલતાં પહેલાં સમસ્યા ઓળખો.
ઓવરફિટિંગ અને અન્ડરફિટિંગ કેવી રીતે સુધારવાં?
મોડેલને વધુ સરળ બનાવીને અથવા તેના ડેટાને વધુ પ્રતિનિધિત્વપૂર્ણ બનાવીને ઓવરફિટિંગ સુધારો, અને મોડેલને વધુ ઉપયોગી માહિતી અથવા વધુ લવચીકતા આપીને અન્ડરફિટિંગ સુધારો. સરળ શબ્દોમાં:
ઓવરફિટિંગ માટે
વર્તનને બદલે વ્યક્તિની ઓળખ આપતી કૉલમ, જેમ કે ગ્રાહક ઓળખ ક્રમાંક, દૂર કરો; તમે ખરેખર જે ગ્રાહકોનું મૂલ્યાંકન કરવાના છો તેમનું પ્રતિનિધિત્વ કરતો તાલીમ ડેટા વાપરો; વધુ સરળ મૉડેલને પ્રાધાન્ય આપો; અને નિયમિતીકરણ લાગુ કરો, જે તાલીમ દરમિયાન જટિલતા માટે દંડ ઉમેરે છે જેથી મૉડેલ વધુ સરળ પેટર્નને પ્રાધાન્ય આપે.
અન્ડરફિટિંગ માટે
રદ કરવા સાથે સંભવિત રીતે સંબંધ ધરાવતા લક્ષણો ઉમેરો, જેમ કે છોડેલી ડિલિવરી, તાજેતરની ફરિયાદો અથવા ભાવમાં ફેરફાર; વધુ લવચીક મોડેલને મંજૂરી આપો; અને તપાસો કે ડેટામાં એટલી બધી અપ્રસ્તુત માહિતી કે ખોટાં લેબલ નથી ને કે કોઈ પણ મોડેલ તેમાંથી શીખી જ ન શકે.
બંને માટે
પરીક્ષણ માટેનો ડેટા-સમૂહ અંત સુધી વાપર્યા વિના રાખો. જો તમે પરીક્ષણના ડેટા-સમૂહના આધારે મોડેલમાં વારંવાર સુધારા કરો, તો તેની માહિતી મોડેલમાં ભળી જાય છે અને પરીક્ષણનો સ્કોર વિશ્વસનીય અંદાજ આપતો રહેતો નથી.
ગ્રાહકો સેવા છોડે તેની આગાહી કરતા મોડેલ અંગેનો નબળો અને સુધારેલો નિર્ણય કેવો હોય છે?
નબળા નિર્ણયમાં મોડેલ A પસંદ કરવામાં આવે છે, કારણ કે સ્લાઇડ પર 99% સૌથી મોટો આંકડો છે. વાસ્તવિક ઉપયોગમાં તે અંદાજ લગાવવા કરતાં માંડ થોડું સારું છે, અને ગ્રાહકોને જાળવી રાખતી ટીમ એવા ગ્રાહકોને ફોન કરવામાં સમય બગાડે છે જેઓ ક્યારેય છોડીને જવાના જ નહોતા.
સુધારેલો નિર્ણય આ પ્રમાણે છે: 'મોડેલ A એ વ્યક્તિગત ગ્રાહકોને યાદ રાખ્યા હતા: તેમાં ગ્રાહક ID અને ઑર્ડરની ચોક્કસ તારીખો સામેલ છે, એટલે લોકો રદ કેમ કરે છે તે શીખવાને બદલે તેણે અગાઉ જોયેલા લોકોને ઓળખ્યા. મોડેલ B એટલું સરળ છે કે તે 70% ના આધારસ્તરને વટાવી શકતું નથી. આગળનું પગલું: મોડેલ C વર્તનની છ લાક્ષણિકતાઓ વાપરે છે, જેમાં ગયા મહિને છોડેલી ડિલિવરીઓ, સહાય માટેની ટિકિટો અને મેનુમાં છેલ્લા ફેરફાર પછીનાં અઠવાડિયાં સામેલ છે; ગ્રાહક ID અને પોસ્ટકોડ દૂર કરવામાં આવ્યા છે. લક્ષ્ય: ગ્રાહકોને જાળવી રાખતી ટીમ તેના પર આધાર રાખે તે પહેલાં, પાંચ ભાગવાળી ક્રોસ-વેલિડેશનથી તપાસેલો પરીક્ષણ સ્કોર સ્પષ્ટપણે 70% થી ઊંચો હોય અને તાલીમના સ્કોરથી થોડા જ અંકોના અંતરે હોય.' હવે સિયાન જાણે છે કે 99% વાળું મોડેલ કેમ નિષ્ફળ ગયું અને સારું પરિણામ કેવું હોવું જોઈએ.
મોડેલ તાલીમના ડેટાને વધુ પડતું અનુરૂપ થયું નથી અને તેમાંથી પૂરતું શીખ્યું પણ છે તે કેવી રીતે ચકાસવું?
મોડેલ તપાસતી વખતે ખાતરી કરો કે તેનો પરીક્ષણ સ્કોર તેના તાલીમ સ્કોરની નજીક છે, આધારરેખા કરતાં સ્પષ્ટ રીતે સારો છે અને ક્રોસ-વૅલિડેશનના જુદા ભાગોમાં તેમજ નવા મહિનાના ડેટા પર સ્થિર રહે છે. એ પણ પૂછો કે કોઈ વિશેષતા એવી તો નથી ને જે પરિણામ આવ્યા પછી જ જાણી શકાય, જેમ કે રદ કરવાનું કારણ; આ માહિતીનું લીકેજ છે અને તેના કારણે બંને સ્કોર મોડેલની વાસ્તવિક ક્ષમતા કરતાં વધુ સારા દેખાય છે.
ઓવરફિટિંગ અને અન્ડરફિટિંગ અંગે થતી સામાન્ય ભૂલો કઈ છે?
સૌથી સામાન્ય ભૂલ એ છે કે તાલીમ દરમિયાનની ચોકસાઈને વાસ્તવિક ઉપયોગની ચોકસાઈ તરીકે રજૂ કરવી. અન્ય ભૂલો: આધારરેખા અવગણવી, જેથી અંદાજ લગાવવાથી જ 70% મળતા હોય છતાં તે પ્રભાવશાળી લાગે; વધુ ગુણની આશામાં ઉપલબ્ધ દરેક કૉલમ ઉમેરવી; ગોઠવણ કરતી વખતે પરીક્ષણ સમૂહ જોઈ લેવો; અને તાલીમના ડેટા પર વધુ પડતું બંધબેસવાને જટિલતા વધારવાનું કારણ માનવું, જ્યારે સામાન્ય રીતે તેની ઊલટી જરૂર હોય છે.
Tosheo.aiમાં આ પાઠ ક્યાં આવે છે?
આ પાઠ મશીન લર્નિંગ શ્રેણીનો છે અને મશીન લર્નિંગ અભ્યાસક્રમમાં મોડેલોના પરિચય પછી આવે છે. Tosheo.aiમાં પ્રાયોગિક કાર્ય તમને ખામીઓ ઓળખવા માટે એક કાલ્પનિક મોડેલ અહેવાલ આપે છે, અને ગુણાંકન માર્ગદર્શિકા મુજબનો પ્રતિસાદ તપાસે છે કે સુધારો સૂચવતાં પહેલાં તમે તાલીમ, પરીક્ષણ અને આધારરેખાનાં પરિણામોની સરખામણી કરી છે કે નહીં. ડેટા ટીમો સાથે કામ કરવા માટેનો આ વ્યાવસાયિક પાયો છે; વૈકલ્પિક કોડિંગ માર્ગમાં કોડ દ્વારા મોડેલોને તાલીમ આપવાનું અને તેમનું મૂલ્યાંકન કરવાનું આવરી લેવાય છે.
સ્રોતો અને વ્યાપ
scikit-learn વપરાશકર્તા માર્ગદર્શિકા: ક્રોસ-વેલિડેશન (19 October 2026ના રોજ તપાસેલું) ↗