డేటాను చేతితో శుభ్రపరచడం కంటే pandasలో ఎందుకు శుభ్రపరచాలి?
pandasలో డేటాను శుభ్రం చేయడం ప్రయోజనకరం. ఎందుకంటే ప్రతి దశ నమోదై ఉంటుంది, వచ్చే నెల ఎగుమతి చేసిన డేటాపైనా దాన్ని కొన్ని సెకన్లలో మళ్లీ అమలు చేయవచ్చు. అదే స్ప్రెడ్‌షీట్‌లో చేతితో సవరణలు చేయడం నెమ్మదిగా సాగుతుంది, వాటిని సులభంగా మర్చిపోవచ్చు, వాటిపై ఆడిట్ చేయడం సాధ్యం కాదు.
నాలుగు ప్రదేశాల్లో శాఖలున్న ఫెర్న్‌హిల్ గార్డెన్స్ అనే ఒక కల్పిత తోటపని సామగ్రి విక్రయ కేంద్రాల సమూహాన్ని ఊహించుకోండి. ఆర్థిక విశ్లేషకుడు టోమాష్‌కు ప్రతి నెలా ఆన్‌లైన్ ఆర్డర్ల CSV అందుతుంది. కింద ఉన్న నమూనాలో, ఒకే ఆర్డర్ రెండుసార్లు కనిపిస్తుంది, శాఖ పేరు పలు రకాలుగా టైప్ చేయబడింది, మొత్తాల్లో కరెన్సీ చిహ్నం, కామా ఉన్నాయి, తేదీల్లో రోజు ముందు వచ్చే పద్ధతి, సంవత్సరం ముందు వచ్చే పద్ధతి కలగలిసి ఉన్నాయి. లేని విలువలు ఖాళీలుగా, 'వర్తించదు'గా, '-'గా కనిపిస్తాయి. వీటిని చేతితో సరిచేయడానికి ఒక రోజు పడుతుంది. అయినా మొత్తం లెక్కలు చెల్లింపు సేవా సంస్థ నివేదికతో పూర్తిగా సరిపోవు.
| order_id | site | order_date | amount | postcode |
|---|---|---|---|---|
| 10231 | లీడ్స్ | 03/11/2026 | £1,240.00 | LS6 |
| 10231 | లీడ్స్ | 03/11/2026 | £1,240.00 | LS6 |
| 10232 | లీడ్స్ | 2026-11-04 | 86.50 | వర్తించదు |
| 10233 | యార్క్ | 05/11/2026 | - | వైఓ1 |
| 10234 | హారోగేట్ | 142 |
pandasతో డేటాను దశలవారీగా ఎలా శుభ్రపరచాలి?
తప్పిపోయిన విలువలను సూచించే గుర్తులను ముందుగానే పేర్కొని డేటాను pandasలో లోడ్ చేయండి. ఆపై దాన్ని పరిశీలించి, వచనాన్ని ఒకే ప్రామాణిక రూపంలోకి తెచ్చి, సంఖ్యలను, తేదీలను సరైన రూపాల్లోకి మార్చి, నకళ్లను తొలగించి, మిగిలిన ఖాళీలను ఏం చేయాలో నిర్ణయించండి. చివరగా, ఫలితాన్ని నమ్మదగిన మొత్తంతో సరిపోల్చి తనిఖీ చేయండి. ఈ క్రమంలో చేస్తే, ఒక సవరణ మరో సవరణను చెడగొట్టకుండా ఉంటుంది.
1. లేని విలువలను సూచించే గుర్తులను ముందే పేర్కొని డేటాను లోడ్ చేయండి
pandas లోని read_csv ఫంక్షన్ ఫైల్‌ను చదివి DataFrameలోకి తీసుకుంటుంది. ఖాళీ ఫీల్డ్‌ల వంటి వాటిని pandas ఇప్పటికే డిఫాల్ట్‌గా లేని విలువలుగా గుర్తిస్తుంది. వాటితోపాటు 'N/A', '-' వంటి అదనపు స్ట్రింగ్‌లను కూడా లేని విలువలుగా పరిగణించేలా na_values ఆర్గ్యుమెంట్‌లో పేర్కొనవచ్చు. వాటిని ఇక్కడే పేర్కొంటే తర్వాత వెతకాల్సిన అవసరం ఉండదు.
2. ఏదైనా మార్చే ముందు పరిశీలించండి
headతో మొదటి వరుసలను, infoతో నిలువు వరుసల రకాలను, విలువలు ఉన్న అంశాల సంఖ్యలను చూడండి. isnaను sumతో కలిపి ప్రతి నిలువు వరుసలో లేని విలువల సంఖ్యను చూడండి. మీరు గమనించిన వాటిని రాయండి: ఫెర్న్‌హిల్‌లో amount వచనంగా నిల్వ చేయబడింది, order_dateలో వేర్వేరు ఆకృతులు ఉన్నాయి.
3. పాఠ్యాన్ని ప్రామాణిక రూపంలోకి మార్చండి
ఒక నిలువు వరుసపై స్ట్రింగ్ పద్ధతులను ఉపయోగించండి: str.strip మొదట్లోనూ చివర్లోనూ ఉన్న ఖాళీలను తొలగిస్తుంది. str.lower లేదా str.title అక్షరాల రూపాన్ని ఒకే విధంగా చేస్తుంది. దాంతో ' Leeds', 'leeds ', 'LEEDS' ఒకే ప్రదేశంగా గుర్తించబడతాయి. తర్వాత మిగిలిన అక్షరక్రమ భేదాలను గుర్తించడానికి uniqueతో భిన్నమైన విలువల జాబితాను చూడండి.
4. సంఖ్యలను మార్చండి
str.replaceతో కరెన్సీ చిహ్నాన్ని, వేల స్థానాలను వేరుచేసే కామాను తొలగించి, ఆపై to_numericతో మార్చండి. దాని errors పరామితిని coerceగా సెట్ చేస్తే, అర్థం చేసుకోలేని విలువ ఎదురైనప్పుడు ప్రక్రియ ఆగిపోకుండా దాన్ని లేని విలువగా మారుస్తుంది. అందువల్ల ఆ వరుసలు తెలియకుండానే పోకుండా వాటిని లెక్కించి సమీక్షించవచ్చు.
5. తేదీలను మార్చండి
to_datetime పాఠ్యాన్ని సరైన తేదీలుగా మారుస్తుంది. వేర్వేరు ఆకృతులు కలిసివుంటే, సాధ్యమైనచోట ఆకృతిని స్పష్టంగా ఇవ్వండి లేదా బ్రిటన్ శైలి తేదీల కోసం dayfirstను సెట్ చేయండి. అలాగే errorsను coerceకు సెట్ చేయండి. అప్పుడు అర్థం చేసుకోలేని తేదీలు NaTగా మారతాయి; తేదీ లేదని సూచించడానికి pandas వాడే గుర్తు ఇది. dayfirst అనేది ప్రాధాన్యమే తప్ప కఠినమైన నియమం కాదని గుర్తుంచుకోండి. కాబట్టి ఫలితాలను తనిఖీ చేయండి.
6. నకళ్లను తొలగించండి
drop_duplicates పునరావృతమైన వరుసలను తొలగిస్తుంది. ముందస్తు అమరిక ప్రకారం, ప్రతి నిలువు వరుసలోని విలువ సరిపోలితేనే ఒక వరుసను నకలుగా పరిగణిస్తుంది; దాని subset పరామితితో order_id వంటి ఎంచుకున్న నిలువు వరుసల ఆధారంగా నకళ్లను గుర్తించవచ్చు. మొదటి నకలు ఉండాలా లేదా చివరి నకలు ఉండాలా అనేది keep నిర్ణయిస్తుంది.
7. మిగిలిన లోటుల విషయంలో ఏం చేయాలో నిర్ణయించండి
dropna విలువలు లేని వరుసలను తొలగిస్తుంది. అయితే ముందస్తు అమరిక ప్రకారం, ఏ ఒక్క నిలువు వరుసలో విలువ లేకపోయినా ఆ వరుసను తొలగిస్తుంది. amount వంటి మీకు నిజంగా అవసరమైన విలువలు లేని వరుసలను మాత్రమే తొలగించడానికి దాని subset పరామితిని ఉపయోగించండి. లేదా ఖాళీని నిర్దేశించిన విలువతో పూరించడానికి fillnaను ఉపయోగించండి. తర్వాత నిలువు వరుసల తుది డేటా రకాలను సెట్ చేయడానికి astypeను ఉపయోగించండి; ఉదాహరణకు site కోసం వర్గం రకాన్ని సెట్ చేయవచ్చు.
డేటాను శుభ్రపరిచే దశ బలహీనంగా ఉన్నప్పుడు, మెరుగుపరిచినప్పుడు ఎలా ఉంటుంది?
సరిగా చేయని ప్రయత్నంలో read_csvతో ఫైల్‌ను లోడ్ చేసి, ఎలాంటి ఆర్గ్యుమెంట్లు లేకుండా dropnaను, తర్వాత ఎలాంటి ఆర్గ్యుమెంట్లు లేకుండా drop_duplicatesను అమలు చేస్తారు. పోస్టల్ కోడ్ తరచూ ఖాళీగా ఉండటంతో, dropna చెల్లుబాటయ్యే ఆర్డర్లలో పెద్ద భాగాన్ని తొలగిస్తుంది. ' Leeds', 'leeds ' ఇంకా వేర్వేరుగానే ఉండటంతో, కొన్ని నకిలీ వరుసలు మిగిలిపోతాయి. ఆదాయం వాస్తవం కంటే చాలా తక్కువగా కనిపిస్తుంది; ఏ వరుసలు తొలగిపోయాయో ఎవరికీ తెలియదు.
మెరుగుపరిచిన ప్రక్రియ డేటాను లోడ్ చేసేటప్పుడు 'N/A', '-'లను లేని విలువలుగా ప్రకటిస్తుంది; siteలో అంచుల ఖాళీలను తొలగించి ప్రతి పదం తొలి అక్షరాన్ని పెద్ద అక్షరంగా మారుస్తుంది; '£', కామాలను తొలగించిన తరువాత to_numericతో amountను మారుస్తుంది; dayfirst, coerceతో order_dateను మారుస్తుంది; order_id ఆధారంగా నకళ్లను గుర్తించి మొదటిదాన్ని ఉంచి మిగిలినవాటిని తొలగిస్తుంది; amount లేని వరుసలను మాత్రమే తీసివేస్తుంది. ఆ తరువాత ప్రతి దశ ఎన్ని వరుసలను తొలగించిందో ముద్రించి, మొత్తం ఆదాయాన్ని చెల్లింపు సేవాదారు నివేదికతో పోలుస్తుంది. టోమాష్ ఇప్పుడు ప్రతి తేడానూ వివరించగలడు.
డేటా శుభ్రపరచడం సఫలమైందో లేదో ఎలా తనిఖీ చేయాలి?
ప్రతి దశకు ముందు, తర్వాత వరుసలను లెక్కించి, ఒక కీలక మొత్తాన్ని స్వతంత్ర మూలంతో పోల్చి, బలవంతపు మార్పిడి వల్ల విలువలు లేనివిగా మారిన వరుసలను సమీక్షించి డేటా శుద్ధిని తనిఖీ చేయండి. కాలమ్ రకాలను నిర్ధారించుకోవడానికి infoను మళ్లీ అమలు చేయండి; స్థలం వంటి వర్గాల్లో వేర్వేరుగా ఉన్న విలువలను జాబితా చేయండి. ఏదైనా దశలో ఊహించిన దానికంటే ఎక్కువ వరుసలు తొలగిపోతే, కొనసాగించే ముందు వాటిని పరిశీలించండి.
pandasలో డేటాను శుభ్రపరచడంలో AI సహాయకం ఎలా ఉపయోగపడుతుంది?
ప్రతి నిలువు వరుసను, అందులోని సమస్యలను, మీరు కోరుకునే నియమాన్ని వివరిస్తే, డేటాను శుభ్రపరిచే దశలకు AI సహాయకం ముసాయిదా తయారుచేయగలదు. పరిచయం లేని ఫంక్షన్లను కూడా వివరించగలదు. పేర్లు, చిరునామాలు లేదా పూర్తి పోస్టల్ కోడ్‌ల వంటి నిజమైన కస్టమర్ డేటాను అతికించే బదులు, కల్పిత ఉదాహరణ విలువలతో నిర్మాణాన్ని వివరించండి. ప్రతి దశ తర్వాత వరుసల సంఖ్యను తెలియజేయమని అడగండి. అది ఉపయోగించే ప్రతి ఫంక్షన్ ఆర్గ్యుమెంట్ను అధికారిక pandas పత్రాలతో సరిచూడండి. ఎందుకంటే సహాయకాలు కొన్నిసార్లు ఉనికిలో లేని లేదా సంస్కరణల మధ్య మారిపోయిన ఎంపికలను సూచిస్తాయి.
pandasతో డేటాను శుద్ధి చేసేటప్పుడు సాధారణంగా జరిగే పొరపాట్లు ఏమిటి?
అత్యంత సాధారణమైన తప్పు ఎలాంటి ఆర్గ్యుమెంట్లు ఇవ్వకుండా dropnaను పిలవడం. దాంతో ఐచ్ఛిక కాలమ్‌లో తప్ప మరే సమస్యా లేని వరుసలు కూడా పోతాయి. ఇతర తప్పులు: పాఠ్యాన్ని ఒకే ప్రమాణానికి మార్చకముందే నకళ్లను తొలగించడం, రోజు, నెల క్రమాన్ని తనిఖీ చేయకుండా తేదీలను మార్చడం, అసలు ఫైల్‌పైనే కొత్త డేటాను రాయడం, శుభ్రపరిచిన తర్వాత మొత్తం విలువను విశ్వసనీయమైన గణాంకంతో ఎన్నడూ పోల్చకపోవడం.
Tosheo.aiలో ఈ పాఠం ఏ విభాగంలో ఉంటుంది?
ఇది డేటా సైన్స్ కోర్సులోని డేటా సైన్స్, విశ్లేషణ విభాగంలో ఉన్న కోడింగ్ పాఠం. Tosheo.aiలో ప్రతి విషయం భావనలు, కోడ్ రాయకుండా చేసే సాధనతో మొదలవుతుంది. కోడింగ్ పాఠాలు మరింత లోతుగా నేర్చుకోవడానికి ఐచ్ఛిక అభ్యాస మార్గం. నమోదు తర్వాత ఈ పాఠం పూర్తి ఆచరణాత్మక సంస్కరణలో, పాండాస్‌తో పైథాన్‌లో ప్రతి డేటా శుద్ధి దశను రాసి అమలు చేస్తారు; మీ పనిని మూల్యాంకన ప్రమాణాల ఆధారంగా అంచనా వేస్తారు. పైథాన్ మీకు కొత్తైతే, పైథాన్ కోర్సుతో ప్రారంభించండి. ఇది ఆచరణాత్మక నైపుణ్యాన్ని పెంచుతుంది; బూట్‌క్యాంప్ కాదు, ఉద్యోగ హామీ కూడా కాదు.
మూలాలు, పరిధి
pandas పత్రాలు: read_csv (తనిఖీ చేసిన తేదీ 19 October 2026) ↗
pandas వినియోగ మార్గదర్శిని: లేని డేటాతో పనిచేయడం (తనిఖీ చేసిన తేదీ 19 October 2026) ↗
pandas పత్రాలు: DataFrame.dropna (తనిఖీ చేసిన తేదీ 19 October 2026) ↗
pandas పత్రాలు: DataFrame.drop_duplicates (తనిఖీ చేసిన తేదీ 19 October 2026) ↗
pandas పత్రాలు: DataFrame.astype (తనిఖీ చేసిన తేదీ 19 October 2026) ↗
pandas పత్రాలు: to_numeric (తనిఖీ చేసిన తేదీ 19 October 2026) ↗
pandas పత్రాలు: to_datetime (తనిఖీ చేసిన తేదీ 19 October 2026) ↗
pandas పత్రాలు: Series.str.strip (తనిఖీ చేసిన తేదీ 19 October 2026) ↗