Data Quality và Data Bias: Hai yếu tố quyết định chất lượng mô hình

Một mô hình Machine Learning không thể tốt hơn chất lượng dữ liệu mà nó được huấn luyện.
Trong quy trình Data Science, Data Quality và Data Bias là hai yếu tố phải được đánh giá trước khi xây dựng mô hình.

Pipeline xử lý dữ liệu

1. Data Quality (Chất lượng dữ liệu)

Mục tiêu: Đảm bảo dữ liệu phản ánh đúng thực tế và có thể sử dụng để huấn luyện mô hình.

➡ 6 tiêu chí phổ biến

Completeness
→ Thiếu dữ liệu?

Accuracy
→ Giá trị có đúng thực tế?

Consistency
→ Có thống nhất giữa các hệ thống?

Validity
→ Có đúng định dạng và quy tắc nghiệp vụ?

Timeliness
→ Dữ liệu còn cập nhật?

Uniqueness
→ Có bản ghi trùng lặp?

2. Data Bias (Thiên kiến dữ liệu)

Mục tiêu: Phát hiện dữ liệu gây thiên lệch cho mô hình.

➡ Các dạng Bias thường gặp

Sampling Bias
→ Mẫu không đại diện.

Selection Bias
→ Chọn sai đối tượng.

Measurement Bias
→ Thu thập sai hoặc cảm biến lỗi.

Historical Bias
→ Dữ liệu phản ánh bất công trong quá khứ.

Confirmation Bias
→ Chỉ thu thập dữ liệu ủng hộ giả thuyết.

3. Giảm thiểu Data Bias

Sampling Bias
→ Stratified Sampling

→ Oversampling

→ Thu thập thêm dữ liệu

↓

Measurement Bias
→ Hiệu chuẩn thiết bị

→ Chuẩn hóa quy trình

↓

Historical Bias
→ Reweighting

→ Fairness Constraints

→ Balanced Dataset

↓

Selection Bias
→ Random Sampling

→ Cross-validation

↓

Confirmation Bias
→ Blind Review

→ Peer Review

→ Đánh giá độc lập

4. Tác động tới mô hình

Data Quality thấp

→ Missing Values

→ Duplicate Records

→ Noise

→ Outliers

↓

Model

↓

Giảm Accuracy

↓

Kết quả không ổn định

Data Bias cao

→ Thiên lệch dự đoán

→ Không công bằng

→ Mất khả năng tổng quát hóa

↓

Hiệu năng giảm trên dữ liệu thực tế

Ghi nhớ khi ôn DSP-210

Data Collection
→ Thu thập dữ liệu

➡

Data Quality
→ Kiểm tra chất lượng dữ liệu

➡

Data Bias
→ Đánh giá thiên kiến

➡

Cleaning & Mitigation
→ Làm sạch và giảm thiên kiến

➡

Feature Engineering
→ Tạo đặc trưng

➡

Model Training
→ Huấn luyện mô hình

➡

Evaluation
→ Đánh giá mô hình

➡

Deployment & Monitoring
→ Triển khai và giám sát