தரவுகளைக் கைமுறையாகச் சுத்தப்படுத்துவதற்குப் பதிலாக pandas மூலம் ஏன் சுத்தப்படுத்த வேண்டும்?
pandas-இல் தரவைச் சுத்தப்படுத்துவது பயனுள்ளது. ஏனெனில் ஒவ்வொரு படியும் எழுதிப் பதிவு செய்யப்படுகிறது; அடுத்த மாதத் தரவு ஏற்றுமதியிலும் சில நொடிகளில் மீண்டும் இயக்கலாம். மாறாக, விரிதாளில் கையால் செய்யும் திருத்தங்கள் மெதுவானவை, எளிதில் மறந்துவிடக்கூடியவை, தணிக்கை செய்ய முடியாதவை.
ஃபெர்ன்ஹில் கார்டன்ஸ் என்ற கற்பனையான, நான்கு இடங்களில் செயல்படும் தோட்டப் பொருட்கள் விற்பனைக் குழுமத்தை எடுத்துக்கொள்ளுங்கள். நிதிப் பகுப்பாய்வாளரான தோமாஷுக்கு இணையவழி ஆர்டர்களின் மாதாந்திர CSV கிடைக்கிறது. கீழே உள்ள மாதிரியில் ஒரே ஆர்டர் இருமுறை இடம்பெறுகிறது, கிளையின் பெயர் பல விதமாகத் தட்டச்சு செய்யப்பட்டுள்ளது, தொகைகளில் நாணயக் குறியீடும் காற்புள்ளியும் உள்ளன, தேதிகளில் நாள் முதலில் வரும் வடிவமும் ஆண்டு முதலில் வரும் வடிவமும் கலந்துள்ளன, விடுபட்ட மதிப்புகள் வெற்றிடங்களாகவும் 'பொருந்தாது' என்றும் '-' என்றும் உள்ளன. இதைக் கையால் சரிசெய்ய ஒரு நாள் ஆகிறது; மொத்தத் தொகைகள் பணப்பரிவர்த்தனைச் சேவை வழங்குநரின் அறிக்கையுடன் முழுமையாகப் பொருந்துவதே இல்லை.
| order_id | site | order_date | amount | postcode |
|---|---|---|---|---|
| 10231 | லீட்ஸ் | 03/11/2026 | £1,240.00 | எல்எஸ்6 |
| 10231 | லீட்ஸ் | 03/11/2026 | £1,240.00 | எல்எஸ்6 |
| 10232 | லீட்ஸ் | 2026-11-04 | 86.50 | பொருந்தாது |
| 10233 | யார்க் | 05/11/2026 | - | ஒய் ஓ1 |
| 10234 | ஹாரோகேட் | 142 |
pandas மூலம் தரவைப் படிப்படியாக எப்படிச் சுத்தப்படுத்துவது?
pandas-இல் தரவைச் சுத்தப்படுத்த, விடுபட்ட மதிப்புகளைக் குறிக்கும் அடையாளங்களை அறிவித்துத் தரவை ஏற்றவும், ஆய்வு செய்யவும், உரையை ஒரே சீராக்கவும், எண்களையும் தேதிகளையும் மாற்றவும், நகல்களை நீக்கவும், மீதமுள்ள இடைவெளிகளை என்ன செய்வது என்று முடிவெடுக்கவும், பின்னர் நம்பகமான மொத்தத்துடன் முடிவை ஒப்பிட்டுச் சரிபார்க்கவும். இந்த வரிசையில் செயல்பட்டால், ஒரு திருத்தம் மற்றொரு திருத்தத்தைச் சீர்குலைப்பதைத் தடுக்கலாம்.
1. விடுபட்ட மதிப்புகளுக்கான குறியீடுகளைக் குறிப்பிட்டுப் பிறகு தரவை ஏற்றுங்கள்
pandas-இன் read_csv செயல்பாடு கோப்பைப் படித்து DataFrame-இல் ஏற்றுகிறது. காலிப் புலங்கள் போன்றவற்றை pandas ஏற்கெனவே இயல்பாகவே விடுபட்ட தரவாகக் கருதுகிறது. அவற்றுடன் 'N/A' மற்றும் '-' போன்ற கூடுதல் உரை மதிப்புகளையும் விடுபட்ட தரவாகக் கருதுமாறு na_values அளவுருவில் பட்டியலிடலாம். இங்கேயே அவற்றைக் குறிப்பிடுவதால், பின்னர் அவற்றைத் தேட வேண்டியதில்லை.
2. எதையும் மாற்றும் முன் ஆய்வு செய்யுங்கள்
head மூலம் முதல் சில வரிசைகளையும், info மூலம் நெடுவரிசைகளின் தரவு வகைகளையும் விடுபடாத மதிப்புகளின் எண்ணிக்கையையும் பாருங்கள். isna உடன் sum சேர்த்துப் பயன்படுத்தி ஒவ்வொரு நெடுவரிசையிலும் விடுபட்ட மதிப்புகளின் எண்ணிக்கையைப் பாருங்கள். கண்டறிந்தவற்றைக் குறித்துக்கொள்ளுங்கள்: Fernhill-இல், amount உரையாகச் சேமிக்கப்பட்டுள்ளது; order_date வெவ்வேறு வடிவங்களில் உள்ளது.
3. உரையை ஒரே சீராக்குங்கள்
ஒரு நெடுவரிசையில் உரைச் சரம் சார்ந்த செயல்முறைகளைப் பயன்படுத்துங்கள்: str.strip தொடக்கத்திலும் முடிவிலும் உள்ள இடைவெளிகளை நீக்கும்; str.lower அல்லது str.title பெரிய, சிறிய எழுத்துப் பயன்பாட்டைச் சீராக்கும். இதனால் ' Leeds', 'leeds ', 'LEEDS' ஆகியவை ஒரே இடத்தைக் குறிக்கும் மதிப்பாக மாறும். பிறகு, எஞ்சியுள்ள எழுத்து வேறுபாடுகளைக் கண்டறிய unique மூலம் தனித்துவமான மதிப்புகளைப் பட்டியலிடுங்கள்.
4. எண்களை மாற்றுங்கள்
str.replace மூலம் நாணயக் குறியையும் ஆயிரங்களைப் பிரிக்கும் காற்புள்ளியையும் நீக்கி, பின்னர் to_numeric மூலம் எண்களாக மாற்றுங்கள். அதன் errors அளவுருவை coerce என அமைத்தால், வாசித்துப் புரிந்துகொள்ள முடியாத மதிப்புகள் செயல்பாட்டை நிறுத்துவதற்குப் பதிலாக விடுபட்ட மதிப்புகளாக மாற்றப்படும். இதனால் அந்த வரிசைகள் தெரியாமல் நீங்கிவிடாமல், அவற்றை எண்ணி மதிப்பாய்வு செய்யலாம்.
5. தேதிகளை மாற்றவும்
to_datetime உரையை முறையான தேதிகளாக மாற்றுகிறது. பல்வேறு வடிவங்கள் கலந்திருந்தால், முடிந்தவரை வடிவத்தை வெளிப்படையாகக் குறிப்பிடுங்கள்; அல்லது பிரிட்டிஷ் தேதி முறைக்கு dayfirst என்பதை அமைக்கவும். மேலும், errors என்பதை coerce என அமைக்கவும்; இதனால் புரிந்துகொள்ள முடியாத தேதிகள், pandas-இல் தேதி இல்லை என்பதைக் குறிக்கும் NaT ஆக மாறும். dayfirst என்பது முன்னுரிமையே தவிர கட்டாய விதி அல்ல என்பதை நினைவில் கொண்டு, முடிவுகளைச் சரிபார்க்கவும்.
6. நகல்களை அகற்றவும்
drop_duplicates மீண்டும் இடம்பெறும் வரிசைகளை நீக்குகிறது. இயல்பாக, எல்லா நெடுவரிசைகளும் பொருந்தினால் மட்டுமே ஒரு வரிசை நகலாகக் கருதப்படும்; அதன் subset அளவுரு, order_id போன்ற தேர்ந்தெடுத்த நெடுவரிசைகளின் அடிப்படையில் நகல்களைத் தீர்மானிக்க உதவுகிறது. முதல் பிரதியா கடைசிப் பிரதியா எது தக்கவைக்கப்படும் என்பதை keep தீர்மானிக்கிறது.
7. மீதமுள்ள இடைவெளிகளைப் பற்றி முடிவெடுக்கவும்
dropna மதிப்புகள் இல்லாத வரிசைகளை நீக்குகிறது; ஆனால் இயல்பாக, ஏதேனும் ஒரு நெடுவரிசையில் மதிப்பு இல்லாவிட்டாலும் அந்த வரிசையை நீக்கிவிடும். amount போன்ற, உங்களுக்கு உண்மையில் தேவைப்படும் மதிப்புகள் இல்லாத வரிசைகளை மட்டும் நீக்க அதன் subset அளவுருவைப் பயன்படுத்துங்கள்; அல்லது ஒரு இடைவெளியைக் குறிப்பிட்ட மதிப்பால் நிரப்ப fillna-ஐப் பயன்படுத்துங்கள். பின்னர் இறுதி நெடுவரிசைகளின் தரவு வகைகளை அமைக்க astype-ஐப் பயன்படுத்துங்கள்; எடுத்துக்காட்டாக, site நெடுவரிசைக்கு வகைப்பாட்டு வகையை அமைக்கலாம்.
பலவீனமான தரவுச் சுத்தப்படுத்தலும் மேம்படுத்தப்பட்ட சுத்தப்படுத்தலும் எப்படி இருக்கும்?
பலவீனமான செயல்முறை, read_csv மூலம் கோப்பை ஏற்றி, எந்த அளவுருக்களும் இல்லாமல் dropna-ஐயும் பின்னர் drop_duplicates-ஐயும் இயக்குகிறது. அஞ்சல் குறியீடு அடிக்கடி காலியாக இருப்பதால், செல்லுபடியாகும் ஆர்டர்களில் பெரும்பகுதியை dropna நீக்கிவிடுகிறது. மேலும், ' லீட்ஸ்' மற்றும் 'லீட்ஸ் ' இன்னும் வேறுபடுவதால், சில நகல் பதிவுகள் எஞ்சுகின்றன. வருவாய் உண்மையைவிட மிகக் குறைவாகக் காட்டப்படுகிறது; எந்த வரிசைகள் நீக்கப்பட்டன என்பதும் யாருக்கும் தெரியாது.
மேம்படுத்தப்பட்ட செயலாக்கம், தரவை ஏற்றும்போதே 'N/A' மற்றும் '-' ஆகியவற்றை விடுபட்ட மதிப்புகளாகக் குறிக்கிறது; site புலத்தில் தேவையற்ற இடைவெளிகளை நீக்கி, ஒவ்வொரு சொல்லின் முதல் எழுத்தையும் பெரிய எழுத்தாக்குகிறது; '£' மற்றும் காற்புள்ளிகளை நீக்கிய பிறகு to_numeric மூலம் amount புலத்தை மாற்றுகிறது; dayfirst மற்றும் coerce கொண்டு order_date புலத்தை மாற்றுகிறது; order_id அடிப்படையில் நகல்களைக் கண்டறிந்து முதல் பதிவை வைத்துக்கொண்டு மற்றவற்றை நீக்குகிறது; amount இல்லாத வரிசைகளை மட்டும் அகற்றுகிறது. பின்னர் ஒவ்வொரு படிநிலையும் எத்தனை வரிசைகளை நீக்கியது என்பதை அச்சிட்டு, மொத்த வருவாயைப் பணப்பரிவர்த்தனை வழங்குநரின் அறிக்கையுடன் ஒப்பிடுகிறது. இப்போது தோமாஷால் ஒவ்வொரு வேறுபாட்டையும் விளக்க முடியும்.
தரவு சுத்தப்படுத்தல் சரியாக நடந்துள்ளதா என்பதை எப்படிச் சரிபார்ப்பது?
தரவுச் சுத்தப்படுத்தலைச் சரிபார்க்க, ஒவ்வொரு படிக்கும் முன்னும் பின்னும் வரிசைகளை எண்ணுங்கள், ஒரு முக்கிய மொத்தத்தைத் தனித்த ஆதாரத்துடன் ஒப்பிடுங்கள், கட்டாய மாற்றத்தால் விடுபட்ட மதிப்புகளாக மாறிய வரிசைகளை மதிப்பாய்வு செய்யுங்கள். நெடுவரிசைகளின் தரவு வகைகளை உறுதிப்படுத்த info கட்டளையை மீண்டும் இயக்குங்கள்; தளம் போன்ற வகைப்பாடுகளுக்கான தனித்துவமான மதிப்புகளைப் பட்டியலிடுங்கள். ஒரு படியில் எதிர்பார்த்ததைவிட அதிக வரிசைகள் நீக்கப்பட்டிருந்தால், தொடர்வதற்கு முன் அவற்றைப் பாருங்கள்.
pandas மூலம் தரவைச் சுத்தப்படுத்த AI உதவியாளர் எப்படி உதவ முடியும்?
ஒவ்வொரு நெடுவரிசையையும், அதிலுள்ள சிக்கல்களையும், நீங்கள் விரும்பும் விதியையும் விவரித்தால், தரவைச் சீர்செய்யும் படிகளை AI உதவியாளரால் வரைய முடியும்; அறிமுகமில்லாத செயல்கூறுகளையும் அது விளக்க முடியும். பெயர்கள், முகவரிகள் அல்லது முழு அஞ்சல் குறியீடுகள் போன்ற உண்மையான வாடிக்கையாளர் தரவை ஒட்டுவதற்குப் பதிலாக, கற்பனையான மாதிரி மதிப்புகளைக் கொண்டு கட்டமைப்பை விவரியுங்கள். ஒவ்வொரு படிக்குப் பிறகும் வரிசைகளின் எண்ணிக்கையைத் தெரிவிக்கச் சொல்லுங்கள். அது பயன்படுத்தும் ஒவ்வொரு செயல்கூறின் தருமதிப்பையும் அதிகாரப்பூர்வ pandas ஆவணங்களுடன் ஒப்பிட்டுச் சரிபாருங்கள். ஏனெனில் உதவியாளர்கள் சில நேரங்களில் இல்லாத விருப்பங்களையோ பதிப்புகளுக்கு இடையில் மாறிய விருப்பங்களையோ பரிந்துரைக்கின்றன.
pandas மூலம் தரவைச் சுத்தப்படுத்தும்போது ஏற்படும் பொதுவான தவறுகள் என்ன?
எந்த உள்ளீட்டு அளவுருவும் இல்லாமல் dropna-ஐப் பயன்படுத்தி, கட்டாயமற்ற ஒரு நெடுவரிசையைத் தவிர மற்றபடி சரியாக இருந்த வரிசைகளையும் இழப்பதே மிகவும் பொதுவான தவறு. பிற தவறுகள்: உரையை ஒரே சீராக்குவதற்கு முன்பே நகல்களை நீக்குவது, நாள் மற்றும் மாதத்தின் வரிசையைச் சரிபார்க்காமல் தேதிகளை மாற்றுவது, அசல் கோப்பின் மேல் எழுதுவது, சுத்தப்படுத்திய தரவின் மொத்தத்தை நம்பகமான எண்ணிக்கையுடன் ஒப்பிடாமல் இருப்பது.
Tosheo.ai தளத்தில் இந்தப் பாடம் எந்தப் பகுதியில் இடம்பெறுகிறது?
இது தரவு அறிவியல் படிப்பின் தரவு அறிவியல் மற்றும் பகுப்பாய்வு வகைப்பாட்டில் உள்ள நிரலாக்கப் பாடம். Tosheo.ai-இன் ஒவ்வொரு பாடப்பொருளும் கருத்துகளுடனும் நிரலாக்கம் தேவையில்லாத பயிற்சியுடனும் தொடங்குகிறது. நிரலாக்கப் பாடங்கள் விருப்பத் தேர்வான ஆழ்ந்த கற்றல் பிரிவாகும்: பதிவுசெய்த பிறகு, இந்தப் பாடத்தின் முழுச் செய்முறைப் பதிப்பில் Python மற்றும் pandas பயன்படுத்தி ஒவ்வொரு தரவுச் சுத்திகரிப்புப் படியையும் எழுதி இயக்குவீர்கள்; தெளிவான அளவுகோல்களைக் கொண்ட மதிப்பீட்டு வழிகாட்டியின்படி அவை மதிப்பிடப்படும். Python உங்களுக்குப் புதிதாக இருந்தால், Python படிப்பிலிருந்து தொடங்குங்கள். இது நடைமுறைத் திறனை வளர்க்கிறது; தீவிரப் பயிற்சி முகாமோ வேலைக்கான உத்தரவாதமோ அல்ல.
மூலங்களும் வரம்பும்
pandas ஆவணம்: read_csv (சரிபார்த்த நாள்: 19 October 2026) ↗
pandas பயனர் வழிகாட்டி: விடுபட்ட தரவைக் கையாளுதல் (சரிபார்த்த நாள்: 19 October 2026) ↗
pandas ஆவணம்: DataFrame.dropna (சரிபார்த்த நாள்: 19 October 2026) ↗
pandas ஆவணம்: DataFrame.drop_duplicates (சரிபார்த்த நாள்: 19 October 2026) ↗
pandas ஆவணம்: DataFrame.astype (சரிபார்த்த நாள்: 19 October 2026) ↗
pandas ஆவணம்: to_numeric (சரிபார்த்த நாள்: 19 October 2026) ↗
pandas ஆவணம்: to_datetime (சரிபார்த்த நாள்: 19 October 2026) ↗
pandas ஆவணம்: Series.str.strip (சரிபார்த்த நாள்: 19 October 2026) ↗