Certified Data Science Practitioner (CDSP DSP-210) 7 Sections22 Lessons20 Weeks
Data Cleaning: Xử lý Missing, Duplicate và Outlier đúng cách
1. Data Cleaning là gì?
Định nghĩa
Data Cleaning là quá trình:
Xác định → Đánh giá → Sửa chữa hoặc loại bỏ các dữ liệu không đảm bảo chất lượng.
Mục tiêu cuối cùng:
Tăng chất lượng dữ liệu để mô hình Machine Learning học chính xác hơn.
Blueprint DSP-210 yêu cầu người học phải biết xử lý:
- Null Values
- Duplicate Records
- Corrupted Data
- Incorrect Format
- Outliers
- Bias trong dữ liệu
2. Vì sao Data Cleaning quan trọng?
Trong thực tế
Một mô hình AI rất mạnh
↓
Nếu dữ liệu sai
↓
Kết quả vẫn sai.
Có câu nói nổi tiếng:
Garbage In → Garbage Out (GIGO)
Nếu dữ liệu đầu vào kém chất lượng thì mô hình dù hiện đại đến đâu cũng sẽ tạo ra kết quả kém.
Theo tài liệu CertNexus, Data Cleaning thường là công việc tốn nhiều thời gian nhất trong toàn bộ dự án Data Science và còn được gọi là Data Wrangling hoặc Data Munging.
3. Ba nhóm lỗi quan trọng nhất
Data Cleaning
├── Missing Values
│
├── Duplicate Records
│
└── OutliersĐây là ba nội dung xuất hiện nhiều nhất trong DSP-210.
PHẦN I — Missing Values
Missing Value là gì?
Là dữ liệu bị thiếu.
Ví dụ
| ID | Age |
|---|---|
| 1 | 25 |
| 2 | NULL |
| 3 | 31 |
| 4 | NaN |
Các dạng thường gặp
NULL
NaN
Blank
?
Unknown
N/A
Tại sao Missing xuất hiện?
Có rất nhiều nguyên nhân.
Ví dụ
Khách hàng không khai báo tuổi
↓
Lỗi nhập liệu
↓
Lỗi cảm biến
↓
Lỗi truyền dữ liệu
↓
Lỗi ETL
↓
Không thu thập được dữ liệu
Các cách xử lý Missing
Cách 1
Remove
Xóa bản ghi
Ví dụ
25
31
42Ưu điểm
Đơn giản
Nhanh
Nhược điểm
Mất dữ liệu
Không dùng nếu dữ liệu ít
Cách 2
Mean Imputation
Thay bằng trung bình
Ví dụ
25
30
31
34Mean = 30
NULL
↓
30
Phù hợp
Dữ liệu số
Phân bố gần chuẩn
Cách 3
Median Imputation
Ví dụ
20
21
22
1000Mean
266
(sai lệch)
Median
21.5
(tốt hơn)
Median phù hợp khi dữ liệu có Outlier.
Đây là đáp án rất hay gặp trong bài thi DSP-210.
Cách 4
Mode
Áp dụng
Categorical Data
Ví dụ
Male
Female
Male
NULL↓
Male
Cách 5
Unknown
Ví dụ
City
NULL↓
Unknown
Hoặc
Not Available
Đây là lựa chọn phổ biến cho dữ liệu phân loại khi không muốn suy diễn giá trị.
Cách 6
KNN Imputation
Tìm các bản ghi giống nhau
↓
Ước lượng giá trị còn thiếu
Ưu điểm
Chính xác hơn
Nhược điểm
Chậm
Tốn tài nguyên
Khi nào nên xóa Missing?
Nên xóa nếu
- Chỉ có vài bản ghi thiếu
- Thiếu hoàn toàn
- Không thể khôi phục
- Dataset rất lớn
Khi nào không nên xóa?
Không nên nếu
- Dataset nhỏ
- Thiếu nhiều
- Dữ liệu quan trọng
- Có thể ước lượng
PHẦN II — Duplicate
Duplicate
=
Dữ liệu bị trùng.
Ví dụ
| ID | Name |
|---|---|
| 1 | John |
| 2 | Mary |
| 1 | John |
Vì sao xuất hiện Duplicate?
Import nhiều lần
↓
Merge sai
↓
Lỗi ETL
↓
Khách hàng đăng ký nhiều lần
↓
Sai Primary Key
Tác hại
Ví dụ
Khách hàng A
Xuất hiện
10 lần
↓
Thuật toán nghĩ
Khách hàng này quan trọng hơn.
↓
Bias.
Cách xử lý Duplicate
Remove Duplicate
Đơn giản nhất
drop_duplicates()Dùng Primary Key
Ví dụ
CustomerID
Passport
Citizen ID
Fuzzy Matching
Ví dụ
Nguyen Van A
Nguyễn Văn A
Nguyen V A
Có thể là cùng một người nhưng khác cách ghi.
PHẦN III — Outlier
Outlier
=
Giá trị bất thường.
Ví dụ
20
21
22
23
25
24
980980
↓
Outlier.
Blueprint DSP-210 yêu cầu nhận biết Outlier thông qua thống kê mô tả và trực quan hóa dữ liệu.
Vì sao Outlier xuất hiện?
Lỗi nhập liệu
Ví dụ
18
↓
180
Thiết bị lỗi
↓
Sensor
↓
10000
Khách hàng đặc biệt
Ví dụ
Một khách hàng mua
500 xe.
Đây là Outlier hợp lệ.
Không được xóa.
Phát hiện Outlier
IQR
Q1
↓
Q3
↓
IQR
=
Q3 − Q1
Nếu
< Q1 - 1.5×IQR
hoặc
> Q3 + 1.5×IQR↓
Outlier.
Z-score
Z=(x−μ)/σNếu
|Z| > 3
↓
Outlier.
Box Plot
Hộp
↓
Râu
↓
Điểm nằm ngoài
↓
Outlier
Đây là cách xuất hiện rất nhiều trong đề thi.
Xử lý Outlier
Remove
Xóa
Nếu
Lỗi nhập liệu
Winsorization
Không xóa
↓
Đưa về ngưỡng
Ví dụ
980
↓
100
Transformation
Log
Square Root
Box-Cox
Giảm ảnh hưởng của giá trị cực lớn.
Giữ nguyên
Nếu Outlier phản ánh đúng thực tế.
Ví dụ
Khách VIP
↓
Chi tiêu
10 tỷ
↓
Không được xóa.
Bảng quyết định nhanh
| Vấn đề | Giải pháp ưu tiên |
|---|---|
| Missing ít | Remove |
| Missing nhiều | Imputation |
| Numeric + Outlier | Median |
| Numeric chuẩn | Mean |
| Categorical | Mode hoặc Unknown |
| Duplicate | Deduplicate |
| Outlier do lỗi | Remove |
| Outlier hợp lệ | Keep hoặc Transform |
Các bẫy rất hay gặp trong DSP-210
Bẫy 1
Có Missing
↓
Không phải lúc nào cũng xóa.
Bẫy 2
Median
không phải
Mean.
Median thường phù hợp hơn khi dữ liệu có Outlier.
Bẫy 3
Outlier
không phải lúc nào cũng sai.
Có thể là dữ liệu kinh doanh có giá trị.
Bẫy 4
Duplicate
không chỉ làm tăng kích thước dữ liệu.
Nó còn tạo thiên lệch (bias) trong quá trình huấn luyện mô hình