Correlation, Feature Selection và PCA: Chọn đúng biến cho mô hình

Trong các bài toán Machine Learning, không phải càng nhiều biến (feature) thì mô hình càng tốt. Những biến không liên quan, trùng lặp hoặc chứa nhiều nhiễu có thể làm giảm độ chính xác, tăng thời gian huấn luyện và khiến mô hình khó diễn giải. Vì vậy, trước khi xây dựng mô hình cần thực hiện bước Feature Selection hoặc Feature Extraction để giữ lại những thông tin thực sự quan trọng.

1. Correlation (Tương quan)

Correlation đo lường mức độ liên hệ giữa hai biến.

• Giá trị nằm trong khoảng -1 đến +1.
• Giá trị càng gần ±1 thì mối quan hệ càng mạnh.
• Giá trị gần 0 nghĩa là gần như không có mối liên hệ tuyến tính.

Ví dụ

⇒ Màu sơn gần như không ảnh hưởng đến giá nhà.

Minh họa

Correlation Matrix

          Price  Area  Rooms Distance
Price      1.00  0.91   0.84   -0.78
Area       0.91  1.00   0.82   -0.65
Rooms      0.84  0.82   1.00   -0.51
Distance  -0.78 -0.65  -0.51    1.00

Lưu ý: Correlation chỉ phản ánh mối quan hệ tuyến tính, không chứng minh quan hệ nhân quả.

2. Feature Selection (Lựa chọn đặc trưng)

Feature Selection là quá trình giữ lại các biến quan trọng và loại bỏ những biến không cần thiết.

Lợi ích

• Giảm Overfitting
• Tăng tốc huấn luyện
• Mô hình dễ giải thích
• Tiết kiệm tài nguyên tính toán

Các phương pháp phổ biến

a. Filter Methods

Đánh giá từng biến độc lập trước khi huấn luyện.

Ví dụ:

• Correlation
• Chi-Square
• ANOVA
• Mutual Information

100 Feature
      │
      ▼
Đánh giá từng Feature
      │
      ▼
Chọn 25 Feature tốt nhất

b. Wrapper Methods

Đánh giá nhiều tập Feature bằng cách huấn luyện mô hình.

Ví dụ

• Forward Selection
• Backward Elimination
• Recursive Feature Elimination (RFE)

Feature
 ↓
Huấn luyện Model
 ↓
Đánh giá Accuracy
 ↓
Loại bỏ Feature kém
 ↓
Lặp lại

Độ chính xác thường cao hơn nhưng tốn thời gian.

c. Embedded Methods

Việc lựa chọn Feature được thực hiện ngay trong quá trình huấn luyện.

Ví dụ

• LASSO Regression
• Decision Tree
• Random Forest
• XGBoost

Train Model
      │
      ▼
Model tự đánh giá
Feature Importance

Đây là nhóm phương pháp được sử dụng rất nhiều trong thực tế.

3. PCA (Principal Component Analysis)

PCA không chọn Feature mà tạo ra các Feature mới (Principal Components) bằng cách kết hợp tuyến tính các Feature ban đầu.

Mục tiêu:

• Giảm số chiều dữ liệu
• Giữ lại phần lớn thông tin
• Giảm nhiễu
• Tăng tốc huấn luyện

Ví dụ

Ban đầu có:

Feature 1
Feature 2
Feature 3
Feature 4
Feature 5

Sau PCA

PC1
PC2

Hai thành phần chính này vẫn giữ khoảng 90–95% lượng thông tin của dữ liệu ban đầu.

Minh họa

Original Data

X1
X2
X3
X4
X5

        │
        ▼

       PCA

        │
        ▼

PC1
PC2

Khi nào nên dùng PCA?

• Dữ liệu có rất nhiều Feature
• Các Feature tương quan cao
• Muốn trực quan hóa dữ liệu nhiều chiều
• Muốn giảm thời gian huấn luyện

4. So sánh Correlation, Feature Selection và PCA

5. Quy trình lựa chọn đặc trưng trong Data Science

Thu thập dữ liệu
        │
        ▼
Làm sạch dữ liệu
        │
        ▼
Correlation Analysis
(Loại bỏ biến trùng lặp)
        │
        ▼
Feature Selection
(Chọn biến quan trọng)
        │
        ▼
PCA (nếu dữ liệu có số chiều lớn)
        │
        ▼
Huấn luyện mô hình Machine Learning
        │
        ▼
Đánh giá và tối ưu mô hình

Ghi nhớ cho kỳ thi CDSP DSP-210

• Correlation → Đo mức độ liên hệ giữa các biến, thường dùng để phát hiện đa cộng tuyến (Multicollinearity).
• Feature Selection → Giữ lại các biến quan trọng để cải thiện hiệu năng và khả năng giải thích của mô hình.
• PCA → Giảm chiều dữ liệu bằng cách tạo các thành phần chính mới, giữ phần lớn phương sai nhưng làm giảm khả năng diễn giải trực tiếp của các biến gốc.
• Thứ tự thường gặp trong quy trình tiền xử lý: Correlation Analysis → Feature Selection → PCA (nếu cần) → Huấn luyện mô hình. Đây cũng là trình tự thường được sử dụng trong thực hành Data Science và xuất hiện trong các tình huống của kỳ thi DSP-210.