Certified Data Science Practitioner (CDSP DSP-210) 7 Sections22 Lessons20 Weeks
Checklist EDA: 10 bước không nên bỏ qua trước Machine Learning
10 bước cần thực hiện
| Bước | Nội dung | Mục tiêu |
|---|---|---|
| 1 | Hiểu dữ liệu | Xác định số dòng, số cột, ý nghĩa từng Feature |
| 2 | Kiểm tra Data Type | Đúng kiểu Numeric, Categorical, Date, Text |
| 3 | Kiểm tra Missing Values | Phát hiện giá trị thiếu và tỷ lệ Missing |
| 4 | Kiểm tra Duplicate | Loại bỏ bản ghi trùng lặp |
| 5 | Phân tích Distribution | Kiểm tra dữ liệu có phân bố chuẩn hay lệch |
| 6 | Phát hiện Outliers | Xác định giá trị bất thường bằng Boxplot, IQR, Z-score |
| 7 | Phân tích Correlation | Tìm mối quan hệ giữa các Feature và loại bỏ đa cộng tuyến |
| 8 | Đánh giá Data Quality & Bias | Kiểm tra Completeness, Accuracy, Sampling Bias… |
| 9 | Trực quan hóa dữ liệu | Histogram, Scatter Plot, Heatmap, Boxplot… |
| 10 | Đề xuất Feature Engineering | Encoding, Scaling, Feature Selection, PCA… |
Những câu hỏi cần tự trả lời sau EDA
✅ Dữ liệu có đầy đủ không?
✅ Có bao nhiêu Missing Values?
✅ Có bản ghi bị trùng?
✅ Có Outlier cần xử lý?
✅ Dữ liệu phân bố chuẩn hay lệch?
✅ Có Feature tương quan quá cao?
✅ Có Data Bias không?
✅ Có cần tạo Feature mới?
✅ Có cần giảm chiều dữ liệu?
✅ Dữ liệu đã sẵn sàng cho Machine Learning chưa?
Checklist nhanh trước khi Train Model
| Kiểm tra | Hoàn thành |
|---|---|
| Data Type đúng | ☐ |
| Missing Values đã xử lý | ☐ |
| Duplicate đã loại bỏ | ☐ |
| Outlier đã đánh giá | ☐ |
| Distribution đã phân tích | ☐ |
| Correlation đã kiểm tra | ☐ |
| Data Quality đạt yêu cầu | ☐ |
| Data Bias đã đánh giá | ☐ |
| Feature Engineering hoàn thành | ☐ |
| Dataset sẵn sàng huấn luyện | ☐ |
Cheat Sheet ôn thi DSP-210
EDA Checklist
✓ Understand Data
↓
✓ Check Data Types
↓
✓ Missing Values
↓
✓ Duplicate Records
↓
✓ Distribution
↓
✓ Outliers
↓
✓ Correlation
↓
✓ Data Quality & Bias
↓
✓ Visualization
↓
✓ Feature Engineering
↓
Ready for Machine LearningGhi nhớ nhanh cho kỳ thi CDSP DSP-210
EDA không phải là mục tiêu cuối cùng, mà là bước giúp trả lời một câu hỏi quan trọng: “Dữ liệu đã đủ tốt để huấn luyện mô hình Machine Learning hay chưa?”
Một quy trình EDA đầy đủ sẽ giúp:
- ✔ Phát hiện lỗi dữ liệu trước khi huấn luyện.
- ✔ Lựa chọn kỹ thuật tiền xử lý phù hợp.
- ✔ Xác định Feature quan trọng.
- ✔ Giảm rủi ro overfitting và bias.
- ✔ Tăng độ chính xác và khả năng tổng quát hóa của mô hình.
Đây cũng là tư duy xuyên suốt của Domain 3 – Exploratory Data Analysis trong CDSP DSP-210: Hiểu dữ liệu trước, xây dựng mô hình sau.