CSV के लिए गहन डेटा गुणवत्ता प्रोफाइलिंग

CSV Analyzer एक विशेष स्किल है जो डेटा साइंस और इंजीनियरिंग वर्कफ़्लो के शुरुआती 80% को स्वचालित करने के लिए बनाई गई है: किसी डेटासेट की संरचना, गुणवत्ता और छिपे हुए पैटर्न को समझना। nulls और outliers जाँचने के लिए बार-बार pandas या SQL स्क्रिप्ट मैन्युअली लिखने की बजाय, यह स्किल किसी भी CSV फ़ाइल का कुछ ही सेकंड में संपूर्ण ऑडिट करती है।

यह क्या करती है

• स्मार्ट टाइप डिटेक्शन: बुनियादी strings/ints से आगे जाकर ईमेल, URLs, UUIDs, तारीखें और categorical डेटा की पहचान करती है।
• सांख्यिकीय गहन विश्लेषण: संख्यात्मक डेटा के लिए वितरण, IQR-आधारित outliers और skewness की गणना करती है, साथ ही टेक्स्ट के लिए high-cardinality विश्लेषण भी करती है।
• डेटा गुणवत्ता ऑडिटिंग: मिश्रित प्रकार, स्थिर कॉलम, आगे/पीछे के whitespace और लगभग-डुप्लीकेट कॉलम को फ्लैग करती है।
• संबंध मैपिंग: संभावित अतिरेक को उजागर करने के लिए संख्यात्मक फीचर्स के बीच मजबूत Pearson सहसंबंधों की पहचान करती है।

इस स्किल का उपयोग क्यों करें?

जहाँ एक सामान्य LLM डेटा की कुछ पंक्तियाँ देख सकता है, वहीं वह बिना सहायता के 10,000+ पंक्तियों में सटीक सांख्यिकी की गणना या anomalies की जाँच नहीं कर सकता। यह स्किल बड़े डेटासेट को विश्वसनीय रूप से प्रोसेस करने के लिए Bash और फ़ाइल-सिस्टम टूल्स का उपयोग करती है और एक संरचित CSV_REPORT.md तैयार करती है जो आपके प्रोजेक्ट के लिए एक स्थायी दस्तावेज़ीकरण आर्टिफैक्ट के रूप में काम करती है। आउटपुट में डेटा सफाई (imputation, deduplication आदि) के लिए कार्रवाई योग्य सुझाव होते हैं जिन्हें आप अपने एजेंट या डेटा टीम को सौंप सकते हैं।