ഡാറ്റ കൈകൊണ്ട് വൃത്തിയാക്കുന്നതിനുപകരം pandas ഉപയോഗിക്കുന്നത് എന്തുകൊണ്ട്?
pandas-ൽ ഡാറ്റ വൃത്തിയാക്കുന്നത് പ്രയോജനകരമാണ്: ഓരോ ഘട്ടവും രേഖപ്പെടുത്തിയിരിക്കും, അടുത്ത മാസത്തെ എക്സ്പോർട്ടിൽ സെക്കൻഡുകൾക്കുള്ളിൽ വീണ്ടും പ്രവർത്തിപ്പിക്കാനും കഴിയും. എന്നാൽ സ്പ്രെഡ്ഷീറ്റിൽ കൈകൊണ്ട് ചെയ്യുന്ന തിരുത്തലുകൾ സമയമെടുക്കുന്നതും എളുപ്പത്തിൽ മറന്നുപോകുന്നതും ഓഡിറ്റ് ചെയ്യാൻ കഴിയാത്തതുമാണ്.
നാല് കേന്ദ്രങ്ങളുള്ള ഫെൺഹിൽ ഗാർഡൻസ് എന്ന ഒരു സാങ്കൽപ്പിക ഉദ്യാനവിപണന ശൃംഖല സങ്കൽപ്പിക്കുക. ധനകാര്യ വിശകലന വിദഗ്ധനായ തോമാഷിന് ഓൺലൈൻ ഓർഡറുകളുടെ പ്രതിമാസ CSV ലഭിക്കുന്നു. താഴെയുള്ള മാതൃകയിൽ ഒരേ ഓർഡർ രണ്ടുതവണ വരുന്നു, കേന്ദ്രത്തിന്റെ പേര് പല രീതിയിൽ എഴുതിയിരിക്കുന്നു, തുകകളിൽ നാണയചിഹ്നവും കോമയും ഉൾപ്പെടുന്നു, തീയതികളിൽ ദിവസം ആദ്യം വരുന്ന രീതിയും വർഷം ആദ്യം വരുന്ന രീതിയും കലർന്നിരിക്കുന്നു, ഇല്ലാത്ത മൂല്യങ്ങൾ ശൂന്യമായും 'ബാധകമല്ല' എന്നും '-' എന്നും കാണിക്കുന്നു. ഇത് കൈകൊണ്ട് ശരിയാക്കാൻ ഒരു ദിവസം എടുക്കുന്നു. എന്നിട്ടും മൊത്തത്തുകകൾ പണമിടപാട് സേവനദാതാവിന്റെ റിപ്പോർട്ടുമായി പൂർണമായി പൊരുത്തപ്പെടുന്നില്ല.
| order_id | site | order_date | amount | postcode |
|---|---|---|---|---|
| 10231 | ലീഡ്സ് | 03/11/2026 | £1,240.00 | LS6 |
| 10231 | ലീഡ്സ് | 03/11/2026 | £1,240.00 | LS6 |
| 10232 | ലീഡ്സ് | 2026-11-04 | 86.50 | ബാധകമല്ല |
| 10233 | യോർക്ക് | 05/11/2026 | - | വൈഒ1 |
| 10234 | ഹാരഗേറ്റ് | 142 |
pandas ഉപയോഗിച്ച് ഡാറ്റ ഘട്ടം ഘട്ടമായി എങ്ങനെ ശുദ്ധീകരിക്കാം?
നഷ്ടപ്പെട്ട മൂല്യങ്ങൾ സൂചിപ്പിക്കുന്ന അടയാളങ്ങൾ നിർവചിച്ച് ഡാറ്റ ലോഡ് ചെയ്യുക, അത് പരിശോധിക്കുക, ടെക്സ്റ്റ് ഒരേ രീതിയിലാക്കുക, സംഖ്യകളും തീയതികളും പരിവർത്തനം ചെയ്യുക, ആവർത്തനങ്ങൾ നീക്കുക, ശേഷിക്കുന്ന ശൂന്യങ്ങൾ എങ്ങനെ കൈകാര്യം ചെയ്യണമെന്ന് തീരുമാനിക്കുക, തുടർന്ന് വിശ്വസനീയമായ ഒരു ആകെ തുകയുമായി ഫലം ഒത്തുനോക്കുക—ഇങ്ങനെ pandas-ൽ ഡാറ്റ വൃത്തിയാക്കാം. ഈ ക്രമത്തിൽ ചെയ്യുന്നത് ഒരു തിരുത്തൽ മറ്റൊന്നിനെ പഴയപടിയാക്കുന്നത് തടയും.
1. വിട്ടുപോയ മൂല്യങ്ങളെ സൂചിപ്പിക്കുന്ന അടയാളങ്ങൾ വ്യക്തമാക്കിയ ശേഷം ലോഡ് ചെയ്യുക
pandas-ലെ read_csv ഫങ്ഷൻ ഫയലിനെ ഒരു DataFrame ആയി വായിക്കുന്നു. ശൂന്യമായ ഫീൽഡുകൾ പോലെ pandas നേരത്തേതന്നെ കാണാതായ മൂല്യങ്ങളായി തിരിച്ചറിയുന്നവയ്ക്കു പുറമേ, 'N/A', '-' പോലുള്ള അധിക അക്ഷരശ്രേണികളും കാണാതായ മൂല്യങ്ങളായി പരിഗണിക്കാൻ അതിന്റെ na_values ആർഗ്യുമെന്റിൽ പട്ടികപ്പെടുത്താം. ഇവ ഇവിടെത്തന്നെ വ്യക്തമാക്കുന്നത് പിന്നീട് അവ തിരഞ്ഞുനടക്കുന്നത് ഒഴിവാക്കുന്നു.
2. എന്തെങ്കിലും മാറ്റുന്നതിന് മുമ്പ് പരിശോധിക്കുക
head ഉപയോഗിച്ച് ആദ്യ വരികളും info ഉപയോഗിച്ച് നിരകളിലെ ഡാറ്റയുടെ തരങ്ങളും മൂല്യങ്ങൾ ഉള്ളവയുടെ എണ്ണവും പരിശോധിക്കുക. isna, sum എന്നിവ ചേർത്ത് ഓരോ നിരയിലും മൂല്യങ്ങൾ ഇല്ലാത്ത ഇടങ്ങളുടെ എണ്ണം കണ്ടെത്തുക. കണ്ടെത്തിയ കാര്യങ്ങൾ കുറിച്ചുവെക്കുക: Fernhill-ൽ amount ടെക്സ്റ്റായാണ് സൂക്ഷിച്ചിരിക്കുന്നത്; order_date-ൽ വ്യത്യസ്ത ഫോർമാറ്റുകളുണ്ട്.
3. എഴുത്ത് ഏകീകൃതമാക്കുക
ഒരു നിരയിൽ സ്ട്രിങ് രീതികൾ ഉപയോഗിക്കുക: str.strip തുടക്കത്തിലും അവസാനത്തിലുമുള്ള ഇടങ്ങൾ നീക്കുന്നു; str.lower അല്ലെങ്കിൽ str.title വലിയക്ഷരങ്ങളുടെയും ചെറിയക്ഷരങ്ങളുടെയും ഉപയോഗം ഏകീകരിക്കുന്നു. അങ്ങനെ ' ലീഡ്സ്', 'ലീഡ്സ് ', 'ലീഡ്സ്' എന്നിവ ഒരേ സ്ഥലമായി കണക്കാക്കപ്പെടും. തുടർന്ന് ശേഷിക്കുന്ന അക്ഷരവിന്യാസ വ്യത്യാസങ്ങൾ കണ്ടെത്താൻ unique ഉപയോഗിച്ച് വ്യത്യസ്ത മൂല്യങ്ങൾ പട്ടികപ്പെടുത്തുക.
4. സംഖ്യകൾ പരിവർത്തനം ചെയ്യുക
str.replace ഉപയോഗിച്ച് കറൻസി ചിഹ്നവും ആയിരങ്ങളെ വേർതിരിക്കുന്ന കോമയും നീക്കുക; തുടർന്ന് to_numeric ഉപയോഗിച്ച് പരിവർത്തനം ചെയ്യുക. അതിന്റെ errors ആർഗ്യുമെന്റ് coerce ആയി സജ്ജമാക്കിയാൽ, വായിച്ചെടുക്കാനാവാത്തവ വരുമ്പോൾ പ്രവർത്തനം നിർത്തുന്നതിനുപകരം അവയെ കാണാതായ മൂല്യങ്ങളാക്കും. അതിനാൽ ആ വരികൾ അറിയാതെ നഷ്ടപ്പെടുന്നതിന് പകരം അവയുടെ എണ്ണം കണക്കാക്കി പരിശോധിക്കാം.
5. തീയതികൾ പരിവർത്തനം ചെയ്യുക
to_datetime ടെക്സ്റ്റിനെ ശരിയായ തീയതികളാക്കി മാറ്റുന്നു. വ്യത്യസ്ത ഫോർമാറ്റുകൾ കലർന്നിട്ടുണ്ടെങ്കിൽ, കഴിയുന്നിടത്ത് ഫോർമാറ്റ് വ്യക്തമായി നൽകുക, അല്ലെങ്കിൽ യുകെ ശൈലിയിലുള്ള തീയതികൾക്കായി dayfirst സജ്ജമാക്കുക. തിരിച്ചറിയാനാകാത്ത തീയതികൾ pandas-ൽ തീയതി ലഭ്യമല്ലെന്ന് സൂചിപ്പിക്കുന്ന NaT ആയി മാറാൻ errors എന്നത് coerce ആയി സജ്ജമാക്കുക. dayfirst ഒരു മുൻഗണന മാത്രമാണ്, കർശനമായ നിയമമല്ല എന്നതിനാൽ ഫലങ്ങൾ പരിശോധിക്കുക.
6. ആവർത്തിച്ചുള്ളവ നീക്കം ചെയ്യുക
drop_duplicates ആവർത്തിക്കുന്ന വരികൾ നീക്കം ചെയ്യുന്നു. സ്വതവേ, എല്ലാ കോളങ്ങളും ഒത്തുപോകുമ്പോൾ മാത്രമാണ് ഒരു വരിയെ പകർപ്പായി കണക്കാക്കുന്നത്; അതിന്റെ subset ആർഗ്യുമെന്റ് ഉപയോഗിച്ച് order_id പോലുള്ള തിരഞ്ഞെടുത്ത കോളങ്ങളുടെ അടിസ്ഥാനത്തിൽ പകർപ്പുകൾ കണ്ടെത്താം. ആദ്യത്തെ പകർപ്പോ അവസാനത്തെ പകർപ്പോ നിലനിർത്തണമെന്ന് keep നിർണയിക്കുന്നു.
7. ശേഷിക്കുന്ന വിടവുകളിൽ എന്തു ചെയ്യണമെന്ന് തീരുമാനിക്കുക
dropna മൂല്യങ്ങൾ ഇല്ലാത്ത വരികൾ നീക്കം ചെയ്യുന്നു. എന്നാൽ സ്വതവേ, ഏതെങ്കിലും ഒരു കോളത്തിൽ മൂല്യം ഇല്ലെങ്കിൽ അത് ആ വരി നീക്കം ചെയ്യും. amount പോലുള്ള, നിങ്ങൾക്ക് ശരിക്കും ആവശ്യമുള്ള മൂല്യങ്ങൾ ഇല്ലാത്ത വരികൾ മാത്രം നീക്കാൻ അതിന്റെ subset ആർഗ്യുമെന്റ് ഉപയോഗിക്കുക. അല്ലെങ്കിൽ, വ്യക്തമാക്കിയ ഒരു മൂല്യം ഉപയോഗിച്ച് ഒഴിവ് പൂരിപ്പിക്കാൻ fillna ഉപയോഗിക്കുക. തുടർന്ന് കോളങ്ങളുടെ അന്തിമ ഡാറ്റാ തരങ്ങൾ സജ്ജമാക്കാൻ astype ഉപയോഗിക്കുക; ഉദാഹരണത്തിന്, site എന്നതിന് വിഭാഗ ഡാറ്റാ തരം.
വിവരങ്ങൾ വൃത്തിയാക്കുന്നതിലെ ദുർബലമായ ഘട്ടവും മെച്ചപ്പെടുത്തിയ ഘട്ടവും എങ്ങനെയായിരിക്കും?
ദുർബലമായ ശ്രമത്തിൽ read_csv ഉപയോഗിച്ച് ഫയൽ ലോഡ് ചെയ്യുന്നു, ആർഗ്യുമെന്റുകളൊന്നുമില്ലാതെ dropna വിളിക്കുന്നു, തുടർന്ന് ആർഗ്യുമെന്റുകളൊന്നുമില്ലാതെ drop_duplicates വിളിക്കുന്നു. postcode പലപ്പോഴും ശൂന്യമായതിനാൽ dropna സാധുവായ ഓർഡറുകളിൽ വലിയൊരു പങ്ക് നീക്കം ചെയ്യുന്നു. ' Leeds' ഉം 'leeds ' ഉം ഇപ്പോഴും വ്യത്യസ്തമായതിനാൽ ചില ആവർത്തനങ്ങൾ അവശേഷിക്കുന്നു. വരുമാനം യഥാർഥത്തേക്കാൾ വളരെ കുറവായി വരുന്നു; ഏതെല്ലാം വരികൾ നീങ്ങിയെന്ന് ആർക്കും അറിയില്ല.
മെച്ചപ്പെടുത്തിയ പ്രക്രിയ ലോഡ് ചെയ്യുമ്പോൾ 'N/A', '-' എന്നിവയെ ലഭ്യമല്ലാത്ത മൂല്യങ്ങളായി പ്രഖ്യാപിക്കുന്നു; site-ലെ തുടക്കത്തിലെയും അവസാനത്തിലെയും ഒഴിഞ്ഞ ഇടങ്ങൾ നീക്കി ഓരോ വാക്കിന്റെയും ആദ്യക്ഷരം വലിയക്ഷരമാക്കുന്നു; '£', കോമകൾ എന്നിവ നീക്കിയശേഷം to_numeric ഉപയോഗിച്ച് amount പരിവർത്തനം ചെയ്യുന്നു; dayfirst, coerce എന്നിവ ഉപയോഗിച്ച് order_date പരിവർത്തനം ചെയ്യുന്നു; order_id അടിസ്ഥാനമാക്കി ആവർത്തനങ്ങൾ കണ്ടെത്തി ആദ്യത്തേത് നിലനിർത്തുന്നു; amount ഇല്ലാത്ത വരികൾ മാത്രം നീക്കം ചെയ്യുന്നു. തുടർന്ന് ഓരോ ഘട്ടവും എത്ര വരികൾ നീക്കം ചെയ്തെന്ന് അച്ചടിക്കുകയും മൊത്തം വരുമാനം പണമിടപാട് സേവനദാതാവിന്റെ റിപ്പോർട്ടുമായി താരതമ്യം ചെയ്യുകയും ചെയ്യുന്നു. ഓരോ വ്യത്യാസവും വിശദീകരിക്കാൻ Tomasz-ന് ഇപ്പോൾ കഴിയും.
ഡാറ്റ ശുദ്ധീകരണം ഫലപ്രദമായോ എന്ന് എങ്ങനെ പരിശോധിക്കാം?
ഓരോ ഘട്ടത്തിനുമുമ്പും ശേഷവും വരികളുടെ എണ്ണം കണക്കാക്കിയും പ്രധാനപ്പെട്ട ഒരു ആകെ തുക സ്വതന്ത്രമായ മറ്റൊരു സ്രോതസ്സുമായി താരതമ്യം ചെയ്തും നിർബന്ധിത പരിവർത്തനത്തിലൂടെ നഷ്ടമായ മൂല്യങ്ങളായി മാറ്റപ്പെട്ട വരികൾ അവലോകനം ചെയ്തും ഡാറ്റ ശുചീകരണം പരിശോധിക്കുക. നിരകളുടെ ഡാറ്റാ തരങ്ങൾ ഉറപ്പാക്കാൻ info വീണ്ടും പ്രവർത്തിപ്പിക്കുക. സ്ഥലം പോലുള്ള വിഭാഗങ്ങളിലെ വ്യത്യസ്ത മൂല്യങ്ങൾ പട്ടികപ്പെടുത്തുക. ഒരു ഘട്ടം പ്രതീക്ഷിച്ചതിലും കൂടുതൽ വരികൾ നീക്കം ചെയ്തെങ്കിൽ തുടരുന്നതിനുമുമ്പ് അവ പരിശോധിക്കുക.
pandas ഉപയോഗിച്ച് ഡാറ്റ ശുദ്ധീകരിക്കാൻ ഒരു AI സഹായിക്ക് എങ്ങനെ സഹായിക്കാനാകും?
ഓരോ കോളവും അതിലെ പ്രശ്നങ്ങളും നിങ്ങൾക്ക് വേണ്ട നിയമവും വിവരിച്ചാൽ, ഡാറ്റ വൃത്തിയാക്കാനുള്ള ഘട്ടങ്ങളുടെ കരട് തയ്യാറാക്കാനും പരിചയമില്ലാത്ത ഫങ്ഷനുകൾ വിശദീകരിക്കാനും ഒരു AI സഹായിക്ക് കഴിയും. പേരുകൾ, വിലാസങ്ങൾ, പൂർണ പോസ്റ്റ്‌കോഡുകൾ തുടങ്ങിയ യഥാർഥ ഉപഭോക്തൃ ഡാറ്റ ഒട്ടിക്കുന്നതിന് പകരം സാങ്കൽപ്പിക ഉദാഹരണ മൂല്യങ്ങൾ ഉപയോഗിച്ച് ഘടന വിവരിക്കുക. ഓരോ ഘട്ടത്തിനുശേഷവും വരികളുടെ എണ്ണം അറിയിക്കാൻ ആവശ്യപ്പെടുക. അത് ഉപയോഗിക്കുന്ന ഓരോ ഫങ്ഷൻ ആർഗ്യുമെന്റും ഔദ്യോഗിക pandas രേഖകളുമായി ഒത്തുനോക്കുക. കാരണം, നിലവിലില്ലാത്തതോ പതിപ്പുകൾക്കിടയിൽ മാറിയതോ ആയ ഓപ്ഷനുകൾ സഹായികൾ ചിലപ്പോൾ നിർദേശിക്കാറുണ്ട്.
pandas ഉപയോഗിച്ച് ഡാറ്റ ശുദ്ധീകരിക്കുമ്പോൾ സാധാരണ സംഭവിക്കുന്ന പിഴവുകൾ എന്തൊക്കെയാണ്?
ആർഗ്യുമെന്റുകളൊന്നും നൽകാതെ dropna ഉപയോഗിച്ച്, നിർബന്ധമല്ലാത്ത ഒരു നിരയിലെ കുറവ് ഒഴിച്ചാൽ പ്രശ്നമില്ലാത്ത വരികളും നഷ്ടപ്പെടുത്തുന്നതാണ് ഏറ്റവും സാധാരണമായ തെറ്റ്. മറ്റ് തെറ്റുകൾ: എഴുത്തിന്റെ രൂപം ഏകീകരിക്കുന്നതിന് മുമ്പ് ആവർത്തനങ്ങൾ നീക്കുക, ദിവസത്തിന്റെയും മാസത്തിന്റെയും ക്രമം പരിശോധിക്കാതെ തീയതികൾ പരിവർത്തനം ചെയ്യുക, യഥാർഥ ഫയൽ തിരുത്തിയെഴുതുക, ശുദ്ധീകരിച്ച ആകെ തുക വിശ്വസനീയമായ കണക്കുമായി ഒരിക്കലും താരതമ്യം ചെയ്യാതിരിക്കുക.
Tosheo.ai-യിൽ ഈ പാഠത്തിന്റെ സ്ഥാനം എവിടെയാണ്?
ഡാറ്റാ സയൻസ് കോഴ്സിലെ ഡാറ്റാ സയൻസും വിശകലനവും എന്ന വിഭാഗത്തിലുള്ള ഒരു കോഡിങ് പാഠമാണിത്. Tosheo.ai-യിലെ എല്ലാ വിഷയങ്ങളും ആശയങ്ങളും കോഡ് എഴുതാതെയുള്ള പരിശീലനവും ഉപയോഗിച്ചാണ് ആരംഭിക്കുന്നത്. കോഡിങ് പാഠങ്ങൾ കൂടുതൽ ആഴത്തിൽ പഠിക്കാൻ തിരഞ്ഞെടുക്കാവുന്ന പഠനപാതയാണ്: രജിസ്റ്റർ ചെയ്തശേഷം ഈ പാഠത്തിന്റെ പൂർണ പ്രായോഗിക പതിപ്പിൽ Python-ലും pandas ഉപയോഗിച്ചും ഓരോ ഡാറ്റാ ശുചീകരണ ഘട്ടവും എഴുതി പ്രവർത്തിപ്പിക്കണം; നിശ്ചിത മാനദണ്ഡങ്ങളുള്ള മൂല്യനിർണയ മാർഗരേഖപ്രകാരം അത് വിലയിരുത്തും. Python പരിചിതമല്ലെങ്കിൽ Python കോഴ്സിൽ നിന്ന് തുടങ്ങുക. ഇത് പ്രായോഗിക കഴിവ് വളർത്തുന്നു; തീവ്രപരിശീലന പരിപാടിയോ ജോലി ഉറപ്പോ അല്ല.
ഉറവിടങ്ങളും പരിധിയും
pandas രേഖകൾ: read_csv (പരിശോധിച്ചത് 19 October 2026) ↗
pandas ഉപയോക്തൃ മാർഗദർശി: വിട്ടുപോയ ഡാറ്റ കൈകാര്യം ചെയ്യൽ (പരിശോധിച്ചത് 19 October 2026) ↗
pandas രേഖകൾ: DataFrame.dropna (പരിശോധിച്ചത് 19 October 2026) ↗
pandas രേഖകൾ: DataFrame.drop_duplicates (പരിശോധിച്ചത് 19 October 2026) ↗
pandas രേഖകൾ: DataFrame.astype (പരിശോധിച്ചത് 19 October 2026) ↗
pandas രേഖകൾ: to_numeric (പരിശോധിച്ചത് 19 October 2026) ↗
pandas രേഖകൾ: to_datetime (പരിശോധിച്ചത് 19 October 2026) ↗
pandas രേഖകൾ: Series.str.strip (പരിശോധിച്ചത് 19 October 2026) ↗