ડેટા જાતે સાફ કરવાને બદલે pandasમાં શા માટે સાફ કરવો?
પાન્ડાસમાં ડેટા સાફ કરવો ઉપયોગી છે, કારણ કે દરેક પગલું લખાયેલું રહે છે અને આવતા મહિને નિકાસ કરેલા ડેટા પર તે સેકન્ડોમાં ફરી ચલાવી શકાય છે. તેની સામે, સ્પ્રેડશીટમાં હાથેથી કરેલા સુધારા ધીમા હોય છે, સહેલાઈથી ભુલાઈ જાય છે અને તેમનું ઑડિટ કરવું અશક્ય હોય છે.
ચાર સ્થળો ધરાવતા ફર્નહિલ ગાર્ડન્સ નામના એક કાલ્પનિક બાગકામ કેન્દ્રોના જૂથની કલ્પના કરો. નાણાકીય વિશ્લેષક તોમાશને ઑનલાઇન ઑર્ડરની માસિક CSV મળે છે. નીચેના નમૂનામાં એક જ ઑર્ડર બે વાર આવે છે, સ્થળનું નામ અનેક રીતે લખાયેલું છે, રકમોમાં ચલણનું ચિહ્ન અને અલ્પવિરામ છે, તારીખોમાં ક્યાંક દિવસ પહેલાં તો ક્યાંક વર્ષ પહેલાં છે અને ગેરહાજર મૂલ્યો ખાલી જગ્યા, 'N/A' અને '-' તરીકે દર્શાવેલાં છે. તેને હાથેથી સુધારવામાં એક દિવસ લાગે છે અને કુલ રકમો ચુકવણી સેવા પ્રદાતાના અહેવાલ સાથે ક્યારેય પૂરેપૂરી મળતી નથી.
| order_id | site | order_date | amount | postcode |
|---|---|---|---|---|
| 10231 | લીડ્સ | 03/11/2026 | £1,240.00 | LS6 |
| 10231 | લીડ્સ | 03/11/2026 | £1,240.00 | LS6 |
| 10232 | લીડ્સ | 2026-11-04 | 86.50 | લાગુ પડતું નથી |
| 10233 | યોર્ક | 05/11/2026 | - | YO1 |
| 10234 | હેરોગેટ | 142 |
pandas વડે ડેટા ક્રમશઃ કેવી રીતે સાફ કરવો?
પાન્ડાસમાં ડેટા સાફ કરવા માટે પહેલાં ખૂટતી કિંમતોના સંકેતો સ્પષ્ટ કરીને ડેટા લોડ કરો, તેની તપાસ કરો, લખાણને એકસરખા સ્વરૂપમાં લાવો, સંખ્યાઓ અને તારીખોનું રૂપાંતર કરો, ડુપ્લિકેટ દૂર કરો, બાકી રહેલી ખાલી જગ્યાઓનું શું કરવું તે નક્કી કરો અને પછી વિશ્વસનીય કુલ આંકડા સાથે પરિણામ ચકાસો. આ ક્રમમાં પગલાં લેવાથી એક સુધારો બીજા સુધારાને બગાડતો નથી.
1. ખૂટતી કિંમતો દર્શાવતા ચિહ્નો નિર્દિષ્ટ કરીને ડેટા લોડ કરો
pandasનું read_csv કાર્ય ફાઇલ વાંચીને તેને DataFrameમાં મૂકે છે. તેનું na_values પરિમાણ તમને 'N/A' અને '-' જેવી વધારાની લખાણ શ્રેણીઓને ખૂટતા મૂલ્ય તરીકે ગણવા માટે સૂચિબદ્ધ કરવા દે છે. આ ખાલી ખાનાં જેવા એવા મૂલ્યો ઉપરાંત છે, જેને pandas પહેલેથી જ ખૂટતા મૂલ્ય તરીકે ઓળખે છે. તેમને અહીં જાહેર કરવાથી પછી તેમને શોધવાની જરૂર પડતી નથી.
2. કંઈપણ બદલતાં પહેલાં તપાસો
head વડે શરૂઆતની હરોળો જુઓ, info વડે કૉલમના પ્રકારો અને ખાલી ન હોય તેવી કિંમતોની ગણતરી જુઓ, અને isna સાથે sum જોડીને દરેક કૉલમમાં ખૂટતી કિંમતોની સંખ્યા જુઓ. તમને જે જણાય તે લખો: ફર્નહિલમાં amount લખાણ તરીકે સંગ્રહાયેલું છે અને order_date માં જુદાં જુદાં બંધારણો છે.
3. લખાણનું માનકીકરણ કરો
કૉલમ પર લખાણ માટેની પદ્ધતિઓ વાપરો: str.strip શરૂઆત અને અંતની ખાલી જગ્યાઓ દૂર કરે છે, અને str.lower અથવા str.title મોટા-નાના અક્ષરોમાં એકરૂપતા લાવે છે, જેથી ' Leeds', 'leeds ' અને 'LEEDS' એક જ સ્થળ ગણાય. પછી બાકી રહેલી જોડણીઓ શોધવા unique વડે અલગ-અલગ મૂલ્યોની યાદી બનાવો.
4. સંખ્યાઓનું રૂપાંતર કરો
str.replace વડે ચલણનું ચિહ્ન અને હજારોનો અલ્પવિરામ દૂર કરો, પછી to_numeric વડે રૂપાંતર કરો. તેના errors આર્ગ્યુમેન્ટને coerce પર સેટ કરવાથી તે વાંચી ન શકે તેવી કોઈ પણ કિંમતને કારણે પ્રક્રિયા અટકતી નથી; તેને બદલે તે ખૂટતી કિંમતમાં ફેરવાય છે. તેથી તે પંક્તિઓ ચૂપચાપ ગુમાવવાને બદલે તમે તેમની ગણતરી અને સમીક્ષા કરી શકો છો.
5. તારીખોનું રૂપાંતર કરો
to_datetime લખાણને યોગ્ય તારીખોમાં ફેરવે છે. જુદા જુદા બંધારણો હોય ત્યારે શક્ય હોય ત્યાં સ્પષ્ટ બંધારણ આપો, અથવા UK-શૈલીની તારીખો માટે dayfirst સેટ કરો અને errors ને coerce પર સેટ કરો, જેથી વાંચી ન શકાય તેવી તારીખો NaT બની જાય. તારીખ ન હોય તે દર્શાવવા pandas આ ચિહ્ન વાપરે છે. ધ્યાનમાં રાખો કે dayfirst એક પ્રાથમિકતા છે, કડક નિયમ નથી, તેથી પરિણામો તપાસો.
6. પુનરાવર્તિત નોંધો દૂર કરો
drop_duplicates પુનરાવર્તિત પંક્તિઓ દૂર કરે છે. મૂળભૂત રીતે, દરેક કૉલમનું મૂલ્ય મળતું હોય તો જ પંક્તિને ડુપ્લિકેટ ગણવામાં આવે છે; તેના subset આર્ગ્યુમેન્ટથી તમે order_id જેવી પસંદ કરેલી કૉલમના આધારે ડુપ્લિકેટ નક્કી કરી શકો છો, અને keep નક્કી કરે છે કે પહેલી નકલ રાખવી કે છેલ્લી.
7. બાકી રહેલી ખામીઓ વિશે નિર્ણય લો
dropna ખૂટતાં મૂલ્યો ધરાવતી પંક્તિઓ દૂર કરે છે, પરંતુ મૂળભૂત રીતે કોઈ પણ કૉલમમાં મૂલ્ય ખૂટતું હોય તો તે પંક્તિ દૂર કરે છે. amount જેવી ખરેખર જરૂરી માહિતી ખૂટતી હોય તેવી જ પંક્તિઓ દૂર કરવા માટે તેના subset આર્ગ્યુમેન્ટનો ઉપયોગ કરો, અથવા ખાલી જગ્યા નિર્ધારિત મૂલ્યથી ભરવા માટે fillna વાપરો. ત્યાર પછી કૉલમના અંતિમ ડેટા પ્રકાર નક્કી કરવા astype વાપરો, ઉદાહરણ તરીકે site માટે શ્રેણી પ્રકાર.
ડેટાની સફાઈનો નબળો અને સુધારેલો તબક્કો કેવો હોય છે?
નબળા પ્રયાસમાં ફાઇલ read_csvથી લોડ કરવામાં આવે છે, કોઈ આર્ગ્યુમેન્ટ વિના dropna અને પછી કોઈ આર્ગ્યુમેન્ટ વિના drop_duplicates ચલાવવામાં આવે છે. પોસ્ટકોડ ઘણી વાર ખાલી હોવાથી dropna માન્ય ઓર્ડરનો મોટો હિસ્સો દૂર કરી દે છે, અને ' Leeds' અને 'leeds ' હજી પણ અલગ ગણાતા હોવાથી કેટલીક નકલી પંક્તિઓ રહી જાય છે. આવકનો આંકડો વાસ્તવિક કરતાં ઘણો ઓછો આવે છે અને કઈ પંક્તિઓ દૂર થઈ તે કોઈને ખબર પડતી નથી.
સુધારેલી પ્રક્રિયા લોડ કરતી વખતે 'N/A' અને '-' ને ખૂટતી માહિતી તરીકે જાહેર કરે છે, site માંથી આગળ-પાછળની ખાલી જગ્યાઓ દૂર કરીને દરેક શબ્દનો પહેલો અક્ષર મોટો કરે છે, '£' અને અલ્પવિરામ દૂર કર્યા પછી to_numeric વડે amount ને સંખ્યામાં ફેરવે છે, dayfirst અને coerce વડે order_date રૂપાંતરિત કરે છે, order_id ના આધારે ડુપ્લિકેટ નક્કી કરીને પહેલો દાખલો રાખે છે અને માત્ર amount ખૂટતી હોય તેવી પંક્તિઓ કાઢે છે. પછી દરેક પગલાએ કેટલી પંક્તિઓ દૂર કરી તે છાપે છે અને કુલ આવકની ચુકવણી સેવા પ્રદાતાના અહેવાલ સાથે સરખામણી કરે છે. હવે ટોમાશ દરેક તફાવત સમજાવી શકે છે.
ડેટાની સફાઈ સફળ થઈ છે કે નહીં તે કેવી રીતે ચકાસવું?
ડેટાની સફાઈ તપાસવા માટે દરેક પગલા પહેલાં અને પછી પંક્તિઓ ગણો, કોઈ મહત્ત્વના સરવાળાને સ્વતંત્ર સ્રોત સાથે સરખાવો અને જે પંક્તિઓનાં મૂલ્યોને ફરજિયાત રીતે ગેરહાજર મૂલ્યોમાં ફેરવવામાં આવ્યાં હોય તેમની સમીક્ષા કરો. કૉલમના પ્રકારોની ખાતરી કરવા info ફરી ચલાવો અને સ્થળ જેવી શ્રેણીઓ માટેનાં અલગ-અલગ મૂલ્યોની યાદી બનાવો. જો કોઈ પગલામાં અપેક્ષા કરતાં વધુ પંક્તિઓ દૂર થઈ હોય, તો આગળ વધતાં પહેલાં તેમને તપાસો.
pandasમાં ડેટા સાફ કરવામાં AI સહાયક કેવી રીતે મદદ કરી શકે?
તમે દરેક કૉલમ, તેની સમસ્યાઓ અને તમને જોઈતો નિયમ સમજાવો તો AI સહાયક ડેટા સાફ કરવાનાં પગલાંનો મુસદ્દો બનાવી શકે છે, અને અજાણ્યાં ફંક્શન પણ સમજાવી શકે છે. નામ, સરનામાં કે સંપૂર્ણ પોસ્ટકોડ જેવા ગ્રાહકોના સાચા ડેટા પેસ્ટ કરવાને બદલે કાલ્પનિક ઉદાહરણ મૂલ્યો દ્વારા માળખું સમજાવો. તેને દરેક પગલા પછી પંક્તિઓની સંખ્યા જણાવવા કહો, અને તે વાપરે તે દરેક ફંક્શનની દલીલને pandasના અધિકૃત દસ્તાવેજો સાથે ચકાસો, કારણ કે સહાયકો ક્યારેક એવા વિકલ્પો સૂચવે છે જે અસ્તિત્વમાં નથી અથવા આવૃત્તિ બદલાતાં બદલાઈ ગયા છે.
pandas વડે ડેટા સાફ કરતી વખતે થતી સામાન્ય ભૂલો કઈ છે?
સૌથી સામાન્ય ભૂલ એ છે કે કોઈ દલીલો આપ્યા વિના dropna ચલાવવું અને વૈકલ્પિક કૉલમ સિવાય બરાબર હોય તેવી પંક્તિઓ ગુમાવવી. અન્ય ભૂલો: લખાણને એકસરખું કરતાં પહેલાં નકલો દૂર કરવી, દિવસ અને મહિનાનો ક્રમ તપાસ્યા વિના તારીખો રૂપાંતરિત કરવી, મૂળ ફાઇલ પર જ ફેરફારો સાચવી દેવા, અને સાફ કરેલા ડેટાના કુલ આંકડાની વિશ્વસનીય આંકડા સાથે ક્યારેય સરખામણી ન કરવી.
Tosheo.aiમાં આ પાઠ ક્યાં આવે છે?
આ ડેટા વિજ્ઞાન અભ્યાસક્રમની ડેટા વિજ્ઞાન અને વિશ્લેષણ શ્રેણીનો કોડિંગ પાઠ છે. Tosheo.aiનો દરેક વિષય ખ્યાલો અને કોડ લખ્યા વિનાની પ્રેક્ટિસથી શરૂ થાય છે, અને કોડિંગ પાઠ વધુ ઊંડાણ માટેનો વૈકલ્પિક માર્ગ છે: નોંધણી પછી આ પાઠના સંપૂર્ણ પ્રાયોગિક સંસ્કરણમાં તમે Pythonમાં pandas વડે ડેટા સાફ કરવાનું દરેક પગલું લખો અને ચલાવો છો, જેનું મૂલ્યાંકન સ્પષ્ટ માપદંડો ધરાવતી ગુણાંકન માર્ગદર્શિકા મુજબ થાય છે. જો Python તમારા માટે નવું હોય, તો Pythonના અભ્યાસક્રમથી શરૂ કરો. તે વ્યવહારુ કૌશલ્ય વિકસાવે છે; તે સઘન તાલીમ કાર્યક્રમ કે નોકરીની ખાતરી નથી.
સ્રોતો અને વ્યાપ
pandas દસ્તાવેજીકરણ: read_csv (19 October 2026ના રોજ ચકાસેલ) ↗
pandas વપરાશકર્તા માર્ગદર્શિકા: ખૂટતા ડેટા સાથે કામ કરવું (19 October 2026ના રોજ ચકાસેલ) ↗
pandas દસ્તાવેજીકરણ: DataFrame.dropna (19 October 2026ના રોજ ચકાસેલ) ↗
pandas દસ્તાવેજીકરણ: DataFrame.drop_duplicates (19 October 2026ના રોજ ચકાસેલ) ↗
pandas દસ્તાવેજીકરણ: DataFrame.astype (19 October 2026ના રોજ ચકાસેલ) ↗
pandas દસ્તાવેજીકરણ: to_numeric (19 October 2026ના રોજ ચકાસેલ) ↗
pandas દસ્તાવેજીકરણ: to_datetime (19 October 2026ના રોજ ચકાસેલ) ↗
pandas દસ્તાવેજીકરણ: Series.str.strip (19 October 2026ના રોજ ચકાસેલ) ↗