EDA là gì? Khám phá dữ liệu trước khi xây dựng mô hình AI

Vị trí trong quy trình Data Science:
Business Understanding → Data Collection → Data Cleaning → Exploratory Data Analysis (EDA) → Feature Engineering → Model Training → Model Evaluation → Deployment

Exploratory Data Analysis (EDA) là bước phân tích khám phá dữ liệu nhằm hiểu rõ đặc điểm của tập dữ liệu trước khi xây dựng mô hình Machine Learning. Theo Blueprint CDSP DSP-210, đây là giai đoạn đánh giá phân bố dữ liệu, phát hiện ngoại lệ (outliers), kiểm tra mối quan hệ giữa các biến và nhận diện các vấn đề về chất lượng dữ liệu để đưa ra quyết định tiền xử lý phù hợp.

1. EDA là gì?

EDA (Exploratory Data Analysis) là quá trình:

• Quan sát dữ liệu
• Thống kê mô tả
• Trực quan hóa dữ liệu
• Phát hiện quy luật
• Tìm lỗi dữ liệu
• Hiểu mối quan hệ giữa các biến

Mục tiêu không phải là xây dựng mô hình ngay, mà là hiểu dữ liệu trước khi để mô hình học.

Có thể hiểu đơn giản:

EDA trả lời câu hỏi: “Dữ liệu của chúng ta đang kể câu chuyện gì?”

2. Vì sao EDA quan trọng?

Một mô hình Machine Learning chỉ tốt khi dữ liệu đầu vào phản ánh đúng thực tế.

EDA giúp phát hiện:

• Giá trị thiếu (Missing Values)
• Dữ liệu trùng lặp (Duplicates)
• Giá trị ngoại lai (Outliers)
• Dữ liệu mất cân bằng (Class Imbalance)
• Sai kiểu dữ liệu (Incorrect Data Type)
• Phân bố bất thường
• Quan hệ giữa các biến
• Thiên kiến dữ liệu (Bias)

Nếu bỏ qua EDA, mô hình có thể:

• học sai quy luật
• giảm Accuracy
• Overfitting
• Underfitting
• dự đoán thiếu tin cậy

3. Quy trình EDA

EDA

│
├── Hiểu cấu trúc dữ liệu
│
├── Thống kê mô tả
│
├── Kiểm tra Missing Value
│
├── Kiểm tra Duplicate
│
├── Phân tích Outlier
│
├── Phân tích Distribution
│
├── Phân tích Correlation
│
├── Phân tích Bias
│
└── Đề xuất Data Preparation

4. Bước 1 – Hiểu cấu trúc dữ liệu

Đầu tiên cần trả lời các câu hỏi:

Có bao nhiêu dòng?

Có bao nhiêu cột?

Có những kiểu dữ liệu nào?

Ví dụ

Ta cần biết:

• Age là số nguyên
• Salary là số
• City là dữ liệu phân loại

Nếu phát hiện:

Salary = "15 triệu"

thì cần chuyển thành

15000000

để mô hình xử lý được.

5. Bước 2 – Thống kê mô tả (Descriptive Statistics)

Đây là bước đầu tiên để hiểu dữ liệu.

Các chỉ số phổ biến:

• Count
• Mean
• Median
• Mode
• Min
• Max
• Standard Deviation
• Variance
• Percentile

Ví dụ

Mean

≈36

Median

26.5

Qua đó có thể nhận ra dữ liệu bị ảnh hưởng bởi giá trị lớn.

6. Bước 3 – Kiểm tra Missing Values

Ví dụ

EDA giúp xác định:

• Có bao nhiêu giá trị thiếu?
• Thiếu ở cột nào?
• Tỷ lệ bao nhiêu?

Sau đó mới quyết định:

• Xóa
• Mean
• Median
• Mode
• KNN Imputation

7. Bước 4 – Kiểm tra Duplicate

Ví dụ

Nếu dữ liệu bị trùng

→ thống kê sai

→ mô hình học sai.

EDA sẽ phát hiện các bản ghi bị lặp để loại bỏ trước khi huấn luyện.

8. Bước 5 – Phân tích Outlier

Outlier là những điểm dữ liệu nằm quá xa phần lớn dữ liệu còn lại.

Ví dụ

25

27

26

28

300

Giá trị

300

là Outlier.

Các kỹ thuật phổ biến:

• Boxplot
• IQR
• Z-score

Theo Blueprint DSP-210, đây là các kỹ thuật cần biết để phát hiện và xử lý ngoại lệ trong dữ liệu.

9. Bước 6 – Phân tích Distribution

Một câu hỏi quan trọng:

Dữ liệu phân bố như thế nào?

Có thể:

Normal Distribution

        *
      *****
    *********
      *****
        *

Hoặc

Skewed Distribution

*************

*****

**

*

Các biểu đồ thường dùng:

• Histogram
• Density Plot
• Boxplot
• Violin Plot

EDA giúp quyết định có cần chuẩn hóa hoặc biến đổi dữ liệu (ví dụ Log Transformation) hay không.

10. Bước 7 – Phân tích Correlation

Correlation cho biết:

Hai biến có liên quan với nhau không?

Ví dụ

Có tương quan dương.

Trong khi:

|Temperature|Employee ID|

gần như không liên quan.

EDA thường sử dụng:

• Correlation Matrix
• Heatmap
• Scatter Plot

để trực quan hóa mối quan hệ giữa các biến.

11. Bước 8 – Phân tích Bias

Không chỉ mô hình mới có Bias.

Ngay dữ liệu cũng có thể thiên lệch.

Ví dụ

95%

Khách hàng

là Nam.

5%

là Nữ.

Nếu huấn luyện trực tiếp

mô hình sẽ thiên về nam giới.

EDA giúp nhận biết:

• Sampling Bias
• Representation Bias
• Historical Bias

để có kế hoạch cân bằng dữ liệu trước khi huấn luyện.

12. Các biểu đồ quan trọng trong EDA

Blueprint DSP-210 coi trực quan hóa dữ liệu là một phần quan trọng trong quá trình khám phá dữ liệu trước khi xây dựng mô hình.

13. Ví dụ hoàn chỉnh

Giả sử dữ liệu khách hàng:

Qua EDA phát hiện:

• Không có Missing Values.
• Có 1 Outlier (85 tuổi, thu nhập 500 triệu).
• Thu nhập phân bố lệch phải.
• Age và Income có tương quan dương.
• Purchase mất cân bằng (80% “Có”, 20% “Không”).

Từ đó có thể:

• Xử lý Outlier.
• Biến đổi Log cho Income.
• Cân bằng dữ liệu nếu cần.
• Tiếp tục Feature Engineering trước khi huấn luyện mô hình.

14. Những sai lầm thường gặp khi làm EDA

15. Checklist ôn thi DSP-210

Bạn cần nắm vững các nội dung sau:

• ✔ Mục tiêu của Exploratory Data Analysis (EDA).
• ✔ Phân biệt EDA, Data Cleaning và Feature Engineering.
• ✔ Biết sử dụng thống kê mô tả để hiểu dữ liệu.
• ✔ Phát hiện và đánh giá Missing Values, Duplicates và Outliers.
• ✔ Hiểu các dạng phân bố dữ liệu (Normal, Skewed) và ý nghĩa của chúng.
• ✔ Phân tích tương quan bằng Correlation Matrix, Heatmap và Scatter Plot.
• ✔ Nhận diện Bias và Class Imbalance trong dữ liệu.
• ✔ Lựa chọn biểu đồ phù hợp cho từng mục tiêu phân tích (Histogram, Boxplot, Scatter Plot, Heatmap, Violin Plot…).
• ✔ Hiểu rằng EDA là một quá trình lặp: sau mỗi lần làm sạch hoặc tạo đặc trưng mới, cần quay lại kiểm tra dữ liệu để xác nhận các giả định trước khi xây dựng mô hình.

Đối với kỳ thi CDSP DSP-210, EDA thường xuất hiện dưới dạng các câu hỏi tình huống yêu cầu lựa chọn phương pháp khám phá dữ liệu phù hợp hoặc xác định bước tiếp theo trong quy trình Data Science sau khi phát hiện các vấn đề về chất lượng dữ liệu.