അമിതപഠനവും അപര്യാപ്തപഠനവും: തികഞ്ഞതെന്ന് തോന്നുന്ന ഒരു മാതൃക പരാജയപ്പെടുന്നത് എന്തുകൊണ്ട്

ഒരു മോഡൽ മികച്ച സ്കോർ നേടിയിട്ടും ഉപയോഗശൂന്യമാകുന്നത് എങ്ങനെ?

ഒരു മോഡൽ പഠിക്കാൻ ഉപയോഗിച്ച അതേ ഡാറ്റയിൽ പരീക്ഷിക്കുമ്പോൾ മികച്ച സ്കോർ നേടിയാലും പ്രയോജനമില്ലാത്തതാകാം. കാരണം, പുതിയ ഉപഭോക്താക്കൾക്കും ബാധകമാകുന്ന കാര്യം പഠിക്കുന്നതിനുപകരം ആ ഉദാഹരണങ്ങൾ അത് മനഃപാഠമാക്കിയതാകാം.

120 പേരുള്ള പാൻട്രിബോക്സ് എന്ന സാങ്കൽപ്പിക ഭക്ഷണക്കിറ്റ് സബ്സ്ക്രിപ്ഷൻ സ്ഥാപനത്തെ സങ്കൽപ്പിക്കുക. അടുത്ത മാസം ഏത് വരിക്കാരാണ് സബ്സ്ക്രിപ്ഷൻ റദ്ദാക്കുകയെന്ന് പ്രവചിക്കാൻ കോഫി എന്ന വിശകലനവിദഗ്ധൻ ഒരു മോഡൽ നിർമ്മിക്കുന്നു. വരിക്കാരെ നിലനിർത്തുന്ന ടീമിന് അവരെ ആദ്യം വിളിക്കാനാണ് ഇത്. ഉപഭോക്തൃവിഭാഗം മേധാവിയായ സിയാന് അദ്ദേഹം നൽകുന്ന വിവരം ഇങ്ങനെയാണ്: 'മോഡൽ A: 99% കൃത്യത!! ഉപഭോക്തൃ ID, പോസ്റ്റ്കോഡ്, മുൻ ഓർഡറുകളുടെ എല്ലാ തീയതികളും ഉൾപ്പെടെ 85 കോളങ്ങൾ ഉപയോഗിക്കുന്നു. മോഡൽ B (ലളിതം, 2 കോളങ്ങൾ): പരിശീലന ഡാറ്റയിൽ 69%, പരിശോധനാ ഡാറ്റയിൽ 68%. കഴിഞ്ഞ മാസത്തെ പുതിയ ഡാറ്റയിൽ മോഡൽ A: 71%. ഓരോ മാസവും ഏകദേശം 30% ഉപഭോക്താക്കൾ റദ്ദാക്കുന്നു.' ഏത് മോഡൽ ഉപയോഗിക്കണമെന്നും 99% കൃത്യതയുള്ള മോഡൽ കഴിഞ്ഞ മാസം ഇത്ര മോശമായി പ്രവർത്തിച്ചത് എന്തുകൊണ്ടാണെന്നും സിയാന് അറിയണം.

പരിശീലന ഡാറ്റയോട് മോഡൽ അമിതമായോ അപര്യാപ്തമായോ പൊരുത്തപ്പെടുന്നത് ഘട്ടം ഘട്ടമായി എങ്ങനെ തിരിച്ചറിയാം?

പരിശീലന ഡാറ്റയിലെ പ്രകടനവും മോഡൽ മുമ്പ് കണ്ടിട്ടില്ലാത്ത ഡാറ്റയിലെ പ്രകടനവും തമ്മിൽ താരതമ്യം ചെയ്തും, ഇവ രണ്ടും ഒരു ലളിതമായ അടിസ്ഥാന മാനദണ്ഡവുമായി താരതമ്യം ചെയ്തും രണ്ട് പ്രശ്നങ്ങളും കണ്ടെത്തുക. ആ മൂന്ന് സംഖ്യകളുടെ താരതമ്യത്തിലൂടെ ഏത് പ്രശ്നമാണ് ഉള്ളതെന്ന് മനസ്സിലാക്കാം.

ഓവർഫിറ്റിങ്ങും അണ്ടർഫിറ്റിങ്ങും എങ്ങനെ പരിഹരിക്കാം?

മോഡലിനെ കൂടുതൽ ലളിതമാക്കിയോ അതിന്റെ വിവരങ്ങൾ യഥാർഥ സാഹചര്യങ്ങളെ കൂടുതൽ നന്നായി പ്രതിനിധീകരിക്കുന്നതാക്കിയോ ഓവർഫിറ്റിങ് പരിഹരിക്കുക. മോഡലിന് കൂടുതൽ പ്രയോജനകരമായ വിവരങ്ങളോ കൂടുതൽ വഴക്കമോ നൽകി അണ്ടർഫിറ്റിങ് പരിഹരിക്കുക. ലളിതമായി പറഞ്ഞാൽ:

ഉപഭോക്താക്കൾ വിട്ടുപോകുന്നത് പ്രവചിക്കുന്ന മാതൃകയെ അടിസ്ഥാനമാക്കിയുള്ള ദുർബലമായ തീരുമാനവും മെച്ചപ്പെടുത്തിയ തീരുമാനവും എങ്ങനെയായിരിക്കും?

ദുർബലമായ തീരുമാനം മോഡൽ A തിരഞ്ഞെടുക്കുന്നത് സ്ലൈഡിലെ ഏറ്റവും വലിയ സംഖ്യ 99% ആയതുകൊണ്ടാണ്. പ്രയോഗത്തിൽ അത് ഊഹിക്കുന്നതിനെക്കാൾ കഷ്ടിച്ച് മെച്ചമാണ്. ഉപഭോക്താക്കളെ നിലനിർത്താനുള്ള ടീം ഒരിക്കലും വിട്ടുപോകാൻ ഉദ്ദേശിച്ചിട്ടില്ലാത്തവരെ വിളിച്ച് സമയം കളയുന്നു.

മെച്ചപ്പെടുത്തിയ തീരുമാനം ഇങ്ങനെയാണ്: 'Model A ഓരോ ഉപഭോക്താവിനെയും മനഃപാഠമാക്കി: അതിൽ ഉപഭോക്തൃ ID-യും കൃത്യമായ ഓർഡർ തീയതികളും ഉൾപ്പെടുന്നു. അതിനാൽ ആളുകൾ എന്തുകൊണ്ട് റദ്ദാക്കുന്നു എന്ന് പഠിക്കുന്നതിനുപകരം മുമ്പ് കണ്ട ആളുകളെ അത് തിരിച്ചറിഞ്ഞു. 70% അടിസ്ഥാനനിലയെ മറികടക്കാൻ കഴിയാത്തത്ര ലളിതമാണ് Model B. അടുത്ത ഘട്ടം: കഴിഞ്ഞ മാസത്തിൽ ഒഴിവാക്കിയ ഡെലിവറികൾ, സഹായ അഭ്യർഥനകൾ, അവസാനമായി മെനു മാറ്റിയതിനുശേഷമുള്ള ആഴ്ചകൾ എന്നിവ ഉൾപ്പെടെ പെരുമാറ്റവുമായി ബന്ധപ്പെട്ട ആറ് സവിശേഷതകൾ Model C ഉപയോഗിക്കുന്നു; ഉപഭോക്തൃ ID-യും പോസ്റ്റ്‌കോഡും നീക്കം ചെയ്യുന്നു. ലക്ഷ്യം: ഉപഭോക്താക്കളെ നിലനിർത്തുന്ന ടീം ഇതിനെ ആശ്രയിക്കുന്നതിനുമുമ്പ്, അഞ്ചുഭാഗ ക്രോസ്-വാലിഡേഷനിലൂടെ പരിശോധിച്ച ടെസ്റ്റ് സ്കോർ 70%-നേക്കാൾ വ്യക്തമായി ഉയർന്നതും പരിശീലന സ്കോറിൽനിന്ന് ഏതാനും പോയിന്റുകൾ മാത്രം വ്യത്യാസമുള്ളതുമായിരിക്കണം.' 99% നേടിയ മോഡൽ പരാജയപ്പെട്ടതിന്റെ കാരണവും നല്ല ഫലം എങ്ങനെയായിരിക്കണമെന്നതും Sian-ന് ഇപ്പോൾ അറിയാം.

ഒരു മോഡൽ പരിശീലന ഡാറ്റയോട് അമിതമായോ അപര്യാപ്തമായോ പൊരുത്തപ്പെടുന്നില്ലെന്ന് എങ്ങനെ പരിശോധിക്കാം?

ഒരു മോഡലിന്റെ പരിശോധനാ സ്കോർ പരിശീലന സ്കോറിനോട് അടുത്തതാണെന്നും അടിസ്ഥാനനിലയെക്കാൾ വ്യക്തമായി മെച്ചമാണെന്നും ക്രോസ്-വാലിഡേഷനിലെ വിവിധ വിഭജനങ്ങളിലും പുതിയൊരു മാസത്തെ ഡാറ്റയിലും സ്ഥിരത പുലർത്തുന്നുണ്ടെന്നും ഉറപ്പാക്കി അതു പരിശോധിക്കുക. റദ്ദാക്കാനുള്ള കാരണം പോലുള്ള ഏതെങ്കിലും സവിശേഷത ഫലം അറിഞ്ഞതിനുശേഷം മാത്രം ലഭ്യമാകുന്നതാണോ എന്നും ചോദിക്കുക. അങ്ങനെയെങ്കിൽ അത് വിവരച്ചോർച്ചയാണ്; മോഡൽ യഥാർഥത്തിൽ ഉള്ളതിനെക്കാൾ മെച്ചമാണെന്ന് രണ്ട് സ്കോറുകളും തോന്നിപ്പിക്കാൻ അതു കാരണമാകും.

ഓവർഫിറ്റിങ്ങും അണ്ടർഫിറ്റിങ്ങും കൈകാര്യം ചെയ്യുമ്പോൾ സാധാരണ സംഭവിക്കുന്ന പിഴവുകൾ എന്തൊക്കെയാണ്?

പരിശീലനത്തിലെ കൃത്യത യഥാർഥ സാഹചര്യങ്ങളിലെ കൃത്യതയെന്നപോലെ റിപ്പോർട്ട് ചെയ്യുന്നതാണ് ഏറ്റവും സാധാരണമായ തെറ്റ്. മറ്റ് തെറ്റുകൾ: അടിസ്ഥാന താരതമ്യനില അവഗണിക്കുന്നതിനാൽ ഊഹിച്ചാൽ തന്നെ ലഭിക്കുന്ന 70% മികച്ചതായി തോന്നുക; കൂടുതൽ സ്കോർ പ്രതീക്ഷിച്ച് ലഭ്യമായ എല്ലാ നിരകളും ചേർക്കുക; ക്രമീകരണങ്ങൾ മെച്ചപ്പെടുത്തുമ്പോൾ പരിശോധനാ ഡാറ്റയിൽ ഒളിഞ്ഞുനോക്കുക; പരിശീലന ഡാറ്റയോട് അമിതമായി പൊരുത്തപ്പെടുന്നത് സങ്കീർണത കൂട്ടാനുള്ള കാരണമായി കാണുക, സാധാരണയായി വേണ്ടത് അതിന്റെ വിപരീതമാണെങ്കിലും.

Tosheo.ai-യിൽ ഈ പാഠത്തിന്റെ സ്ഥാനം എവിടെയാണ്?

ഈ പാഠം മെഷീൻ ലേണിങ് വിഭാഗത്തിലാണ്. മെഷീൻ ലേണിങ് കോഴ്സിലെ മോഡലുകളുടെ ആമുഖത്തിന് ശേഷമാണ് ഇത് വരുന്നത്. Tosheo.ai-യിലെ പ്രായോഗിക പ്രവർത്തനത്തിൽ പ്രശ്നം കണ്ടെത്താനായി ഒരു സാങ്കൽപ്പിക മോഡൽ റിപ്പോർട്ട് നൽകുന്നു. പരിഹാരം ശുപാർശ ചെയ്യുന്നതിന് മുമ്പ് പരിശീലനഫലങ്ങളും പരിശോധനാഫലങ്ങളും അടിസ്ഥാന താരതമ്യഫലങ്ങളും താരതമ്യം ചെയ്തിട്ടുണ്ടോ എന്ന് മൂല്യനിർണയ മാർഗരേഖയെ അടിസ്ഥാനമാക്കിയുള്ള പ്രതികരണം പരിശോധിക്കുന്നു. ഡാറ്റാ ടീമുകൾക്കൊപ്പം പ്രവർത്തിക്കാനുള്ള തൊഴിൽപരമായ അടിത്തറയാണിത്; തിരഞ്ഞെടുക്കാവുന്ന കോഡിങ് പഠനപാതയിൽ കോഡ് ഉപയോഗിച്ച് മോഡലുകൾ പരിശീലിപ്പിക്കുന്നതും വിലയിരുത്തുന്നതും ഉൾപ്പെടുന്നു.

ഉറവിടങ്ങളും പരിധിയും

Google യന്ത്രപഠന ഹ്രസ്വകോഴ്‌സ്: പരിശീലന ഡാറ്റയോട് അമിതമായി പൊരുത്തപ്പെടൽ (പരിശോധിച്ചത് 19 October 2026) ↗

Google യന്ത്രപഠന ഹ്രസ്വകോഴ്‌സ്: മോഡലിന്റെ സങ്കീർണ്ണതയും ക്രമവൽക്കരണവും (പരിശോധിച്ചത് 19 October 2026) ↗

scikit-learn ഉപയോക്തൃ മാർഗ്ഗദർശി: ക്രോസ് വാലിഡേഷൻ (പരിശോധിച്ചത് 19 October 2026) ↗