అద్భుతమైన స్కోరు సాధించినా ఒక మోడల్ పనికిరాకుండా ఎలా ఉంటుంది?
ఒక నమూనా నేర్చుకున్న డేటాతోనే దాన్ని పరీక్షించినప్పుడు, అద్భుతమైన స్కోరు వచ్చినా అది పనికిరాకపోవచ్చు. ఎందుకంటే కొత్త వినియోగదారులకూ వర్తించే విషయాన్ని నేర్చుకోకుండా, ఆ ఉదాహరణలను కేవలం గుర్తుపెట్టుకుని ఉండవచ్చు.
ప్యాంట్రీబాక్స్ అనే కల్పిత 120-మంది భోజన సామగ్రి కిట్‌ల చందా వ్యాపారాన్ని ఊహించుకోండి. వచ్చే నెలలో ఏ చందాదారులు రద్దు చేసుకుంటారో అంచనా వేసే మోడల్‌ను కోఫి అనే విశ్లేషకుడు తయారు చేస్తాడు. వారిని నిలుపుకునే బృందం ముందుగా వారికి ఫోన్ చేయడం దీని ఉద్దేశం. కస్టమర్ విభాగాధిపతి షాన్‌కు అతను పంపిన తాజా సమాచారం ఇలా ఉంది: 'మోడల్ A: 99% కచ్చితత్వం!! కస్టమర్ ID, పోస్టల్ కోడ్, గతంలోని ప్రతి ఆర్డర్ తేదీ సహా 85 నిలువు వరుసలను ఉపయోగిస్తుంది. మోడల్ B (సరళమైనది, 2 నిలువు వరుసలు): శిక్షణ డేటాపై 69%, పరీక్ష డేటాపై 68%. గత నెల కొత్త డేటాపై మోడల్ A: 71%. ప్రతి నెల సుమారు 30% మంది కస్టమర్లు రద్దు చేసుకుంటారు.' ఏ మోడల్‌ను ఉపయోగించాలో, 99% కచ్చితత్వం ఉన్న మోడల్ గత నెల అంత పేలవంగా ఎందుకు పనిచేసిందో షాన్ తెలుసుకోవాలనుకుంటోంది.
| నమూనా | శిక్షణలో కచ్చితత్వం | పరీక్షలో ఖచ్చితత్వం | ఇది ఏం సూచిస్తుంది |
|---|---|---|---|
| నమూనా A, 85 నిలువు వరుసలు | 99% | 71% | అతిగా నేర్చుకోవడం: శిక్షణ డేటాలోని కస్టమర్ల వివరాలను కంఠస్థం చేసుకుంది |
| నమూనా B, 2 నిలువు వరుసలు | 69% | 68% | తగినంత నేర్చుకోకపోవడం: ఎప్పుడూ 'కొనసాగుతారు' అని ఊహించడంకంటే స్వల్పంగా మాత్రమే మెరుగ్గా ఉంటుంది |
శిక్షణ డేటాకు నమూనా అతిగా సరిపోవడాన్ని, తగినంతగా సరిపోకపోవడాన్ని దశలవారీగా ఎలా గుర్తించాలి?
శిక్షణ డేటాపై పనితీరును, మోడల్ ఇంతకు ముందు చూడని డేటాపై పనితీరుతో పోల్చి, ఆ రెండింటినీ ఒక సరళమైన ప్రాథమిక ప్రమాణంతో పోల్చడం ద్వారా ఈ రెండు సమస్యలను గుర్తించండి. ఆ మూడు సంఖ్యల్లో కనిపించే నమూనా మీకు ఏ సమస్య ఉందో తెలియజేస్తుంది.
1. కొంత డేటాను పక్కన ఉంచండి
శిక్షణకు ముందు, మోడల్‌కు ఎప్పుడూ చూపించని పరీక్ష డేటా సమితిని పక్కన పెట్టండి. మోడల్ నేర్చుకున్న డేటాతోనే దాన్ని పరీక్షించడం ప్రాథమిక తప్పు. ఎందుకంటే చూసినదాన్ని కేవలం పునరావృతం చేసే మోడల్ పూర్తి మార్కులు సాధిస్తుంది కానీ దేన్నీ అంచనా వేయదు.
2. పోలిక కోసం ప్రాథమిక స్థాయిని నిర్ణయించండి
ఒక అతి సాధారణ నియమానికి ఎంత స్కోరు వస్తుందో లెక్కించండి. ప్యాంట్రీబాక్స్‌లో ప్రతి నెలా సుమారు 70% మంది వినియోగదారులు కొనసాగుతారు. కాబట్టి అందరి విషయంలోనూ 'కొనసాగుతారు' అని ఊహిస్తే సుమారు 70% స్కోరు వస్తుంది. ఉపయోగకరమైన మోడల్ దానికంటే స్పష్టంగా మెరుగైన ఫలితం ఇవ్వాలి.
3. శిక్షణ, పరీక్ష ఫలితాలను పోల్చండి
శిక్షణ స్కోరు ఎక్కువగా ఉండి, పరీక్ష స్కోరు దానికంటే చాలా తక్కువగా ఉంటే అది అతిగా సరిపోలడాన్ని సూచిస్తుంది. రెండింటిలోనూ ప్రాథమిక ప్రమాణానికి దగ్గరగా తక్కువ స్కోర్లు ఉంటే తగినంతగా సరిపోలకపోవడాన్ని సూచిస్తుంది. రెండింటిలోనూ ఒకే స్థాయిలో మంచి స్కోర్లు ఉంటే సముచితంగా సరిపోలినట్లు సూచిస్తుంది.
4. స్థిరత్వాన్ని తనిఖీ చేయండి
క్రాస్-వాలిడేషన్‌లో శిక్షణ డేటాలోని వేర్వేరు భాగాలతో మోడల్‌కు పలుమార్లు శిక్షణ ఇచ్చి పరీక్షిస్తారు. ఆ ఫలితాల సగటును లెక్కిస్తారు. భాగాల మధ్య స్కోర్లు ఎక్కువగా మారుతుంటే, మోడల్ పనితీరు స్థిరంగా లేదని అర్థం.
5. సమస్యకు సరిపోయే పరిష్కారాన్ని ఎంచుకోండి
అతిగా నేర్చుకోవడానికి, తగినంత నేర్చుకోకపోవడానికి విరుద్ధమైన పరిష్కారాలు అవసరం. కాబట్టి ఏదైనా మార్చే ముందు సమస్య ఏదో గుర్తించండి.
అతిగా సరిపోవడం, తగినంతగా సరిపోకపోవడం అనే సమస్యలను ఎలా సరిచేయాలి?
నమూనాను మరింత సరళం చేయడం ద్వారా లేదా దాని డేటా వాస్తవ పరిస్థితులకు మరింత ప్రాతినిధ్యం వహించేలా చేయడం ద్వారా అతిగా సరిపోలడాన్ని సరిచేయండి. నమూనాకు మరింత ఉపయోగకరమైన సమాచారం లేదా మరింత వెసులుబాటు ఇవ్వడం ద్వారా తగినంతగా సరిపోలకపోవడాన్ని సరిచేయండి. సరళంగా చెప్పాలంటే:
అతిగా సరిపోలడానికి
వినియోగదారు గుర్తింపు సంఖ్య వంటి, ప్రవర్తనకు బదులుగా వ్యక్తులను గుర్తించే నిలువు వరుసలను తొలగించండి; మీరు వాస్తవంగా స్కోరు ఇవ్వబోయే వినియోగదారులకు ప్రాతినిధ్యం వహించే శిక్షణ డేటాను ఉపయోగించండి; సరళమైన నమూనాకు ప్రాధాన్యం ఇవ్వండి; క్రమబద్ధీకరణను వర్తింపజేయండి. ఇది శిక్షణ సమయంలో సంక్లిష్టతకు జరిమానా విధిస్తుంది, తద్వారా నమూనా సరళమైన ధోరణులకు ప్రాధాన్యం ఇస్తుంది.
తగినంతగా సరిపోలకపోవడానికి
తప్పిపోయిన డెలివరీలు, ఇటీవలి ఫిర్యాదులు లేదా ధర మార్పు వంటి రద్దుతో సంబంధం ఉండే అవకాశం ఉన్న లక్షణాలను జోడించండి; మరింత అనువుగా నేర్చుకోగల మోడల్‌ను ఉపయోగించండి; ఏ మోడల్ కూడా నేర్చుకోలేనంతగా డేటాలో అసంబద్ధతలు లేదా తప్పు లేబుల్‌లు ఉన్నాయేమో తనిఖీ చేయండి.
రెండింటికీ
పరీక్ష డేటా సమితిని చివరి వరకు ఉపయోగించకుండా ఉంచండి. ఆ సమితిని బట్టి మోడల్‌ను పదేపదే సర్దుబాటు చేస్తే, సమాచారం మోడల్‌లోకి చేరిపోతుంది; పరీక్ష స్కోరు ఇక వాస్తవిక అంచనాగా ఉండదు.
కస్టమర్లు సేవను వదిలివేయడాన్ని అంచనా వేసే నమూనా ఆధారంగా తీసుకున్న బలహీనమైన నిర్ణయం, మెరుగుపరిచిన నిర్ణయం ఎలా ఉంటాయి?
బలహీనమైన నిర్ణయం స్లైడ్‌లో 99% అతిపెద్ద సంఖ్య కాబట్టి నమూనా Aని ఎంచుకుంటుంది. వాడుకలో అది ఊహించడం కంటే కొద్దిగా మాత్రమే మెరుగ్గా ఉంటుంది. కస్టమర్లను నిలుపుకునే బృందం అసలు వెళ్లిపోయే ఉద్దేశమే లేనివారికి కాల్‌లు చేస్తూ సమయం వృథా చేస్తుంది.
మెరుగుపరిచిన నిర్ణయం ఇలా ఉంది: 'మోడల్ A వ్యక్తిగత కస్టమర్లను కంఠస్థం చేసింది: ఇందులో కస్టమర్ ID, కచ్చితమైన ఆర్డర్ తేదీలు ఉన్నాయి. కాబట్టి ప్రజలు ఎందుకు రద్దు చేస్తారో నేర్చుకునే బదులు, ఇంతకుముందు చూసిన వ్యక్తులను గుర్తించింది. మోడల్ B చాలా సరళంగా ఉండటంతో 70% ప్రాథమిక స్థాయిని మించలేకపోతోంది. తదుపరి దశ: మోడల్ C గత నెలలో దాటవేసిన డెలివరీలు, సహాయ అభ్యర్థనలు, చివరి మెనూ మార్పు నుంచి గడిచిన వారాలు సహా ఆరు ప్రవర్తనా లక్షణాలను వాడుతుంది; కస్టమర్ ID, పోస్టల్ కోడ్‌ను తొలగిస్తుంది. లక్ష్యం: కస్టమర్లను నిలుపుకునే బృందం దీనిపై ఆధారపడే ముందు, పరీక్ష స్కోరు 70% కంటే స్పష్టంగా ఎక్కువగా ఉండాలి, శిక్షణ స్కోరుకు కొన్ని పాయింట్ల పరిధిలో ఉండాలి; ఐదు భాగాల పరస్పర ధ్రువీకరణతో దీనిని తనిఖీ చేయాలి.' 99% మోడల్ ఎందుకు విఫలమైందో, మంచి ఫలితం ఎలా ఉండాలో సియాన్‌కు ఇప్పుడు తెలుసు.
ఒక నమూనా శిక్షణ డేటాకు అతిగానూ సరిపోలేదని, తగినంతగా సరిపోకుండా కూడా లేదని ఎలా తనిఖీ చేయాలి?
మోడల్ పరీక్ష స్కోరు దాని శిక్షణ స్కోరుకు దగ్గరగా ఉందని, ప్రాథమిక ప్రమాణం కంటే స్పష్టంగా మెరుగ్గా ఉందని, క్రాస్-వాలిడేషన్ విభాగాల్లోనూ, కొత్త నెల డేటాపైనా స్థిరంగా ఉందని నిర్ధారించుకుని మోడల్‌ను తనిఖీ చేయండి. రద్దుకు కారణం వంటిది ఏదైనా లక్షణం ఫలితం వచ్చిన తర్వాత మాత్రమే తెలిసేదా అని కూడా అడగండి; అది డేటా లీకేజీ. దానివల్ల రెండు స్కోర్లూ మోడల్ నిజంగా సాధించగల దానికంటే మెరుగ్గా కనిపిస్తాయి.
మోడల్ డేటాకు అతిగా సరిపోవడం, తగినంతగా సరిపోకపోవడం విషయంలో సాధారణంగా జరిగే పొరపాట్లు ఏమిటి?
అత్యంత సాధారణమైన తప్పు శిక్షణలో సాధించిన ఖచ్చితత్వాన్ని వాస్తవ వినియోగ ఖచ్చితత్వంగా నివేదించడం. ఇతర తప్పులు: ప్రాథమిక పోలిక స్థాయిని పట్టించుకోకపోవడం వల్ల ఊహించి చెప్పినా సాధించే 70% గొప్పగా కనిపించడం; ఎక్కువ స్కోరు వస్తుందనే ఆశతో అందుబాటులో ఉన్న ప్రతి కాలమ్‌నూ జోడించడం; మోడల్‌ను సర్దుబాటు చేస్తూ పరీక్ష డేటాను చూడటం; శిక్షణ డేటాకు అతిగా సరిపోవడాన్ని సంక్లిష్టత పెంచడానికి కారణంగా భావించడం—సాధారణంగా దానికి విరుద్ధమైన చర్య అవసరం.
Tosheo.aiలో ఈ పాఠం ఏ విభాగంలో ఉంటుంది?
ఈ పాఠం యంత్ర అభ్యాస విభాగంలో ఉంది; యంత్ర అభ్యాస కోర్సులో నమూనాల పరిచయం తర్వాత వస్తుంది. Tosheo.aiలో ఆచరణాత్మక పని కోసం ఒక కల్పిత నమూనా నివేదికను ఇచ్చి, లోపాలను గుర్తించమంటారు. పరిష్కారాన్ని సిఫార్సు చేసే ముందు మీరు శిక్షణ, పరీక్ష, ప్రాథమిక పోలిక ఫలితాలను పోల్చారో లేదో మూల్యాంకన ప్రమాణాల ఆధారిత అభిప్రాయం తనిఖీ చేస్తుంది. డేటా బృందాలతో కలిసి పనిచేయడానికి ఇది వృత్తిపరమైన పునాది; ఐచ్ఛిక కోడింగ్ అభ్యాస మార్గంలో కోడ్‌తో నమూనాలకు శిక్షణ ఇవ్వడం, వాటిని అంచనా వేయడం ఉంటాయి.
మూలాలు, పరిధి
scikit-learn వినియోగదారు మార్గదర్శి: క్రాస్-వాలిడేషన్ (తనిఖీ చేసిన తేదీ 19 October 2026) ↗