PHÂN TÍCH DỮ LIỆU NÂNG CAO

1. Mục tiêu đào tạo:

• Cung cấp kiến thức nâng cao về kỹ năng phân tích dữ liệu nâng cao cho đội ngũ kỹ sư đã có nền tảng IT bao  gồm việc sử dụng  toán học, thống kê, lập trình, AI và học máy.
• Nâng cao kỹ năng khai thác dữ liệu với SQL, R, Python và các công cụ trực quan hóa dữ liệu như Tableau BI/PowerBI.
• Ứng dụng các phương pháp Machine Learning và Big Data vào phân tích dữ liệu.
• Tích hợp công nghệ Oracle, ODI, Kafka vào phân tích và xử lý dữ liệu lớn.
• Phân biệt rõ ràng giữa phân tích dữ liệu cơ bản và nâng cao thông qua độ sâu của các phương pháp thống kê, độ phức tạp của các thuật toán học máy và khả năng xử lý các bộ dữ liệu lớn và đa chiều

2. Đối tượng học viên:

• Nhân sự IT, lập trình viên, chuyên viên dữ liệu đã có kinh nghiệm SQL và sử dụng Tableau BI.

3. Thời lượng đào tạo:

• 40 giờ (5 ngày làm việc)

PHẦN A: NÂNG CAO CHO PHÂN TÍCH DỮ LIỆU VÀ TRỰC QUAN HÓA DỮ LIỆU (2  ngày)

1. Lý thuyết về phân tích dữ liệu nâng cao

• Phân tích dữ liệu cơ bản và nâng cao? Sự kết hợp của toán học, thống kê, lập trình, AI và ML trong phân tích dữ liệu nâng cao
• Các kỹ thuật phân tích dữ liệu nâng cao (lý thuyết và ứng dụng)
  • Phân tích hồi quy đa biến
  • Phân tích phương sai nâng cao
  • Phân tích hồi quy tuyến tính
  • Mô hình hiệu ứng hỗn hợp
  • ….

2. SQL nâng cao cho phân tích dữ liệu (DB, DWH, DL)

• Tối ưu hóa truy vấn với indexing, partitioning, execution plan.
• Xử lý dữ liệu lớn (Sharding, Parallel Query).
• Sử dụng Common Table Expressions (CTE), Window Functions, Recursive Queries.
• Xử lý dữ liệu với SQL trên Tableau BI/PowerBI
• …

4. Trực quan hóa dữ liệu nâng cao với Tableau BI/PowerBI

• Kỹ thuật nâng cao: LOD Expressions, Table Calculations, Sets & Parameters.
• Thiết kế dashboard, trực quan hóa dữ liệu nâng cao
  • Trực quan hóa dữ liệu có chiều cao
  • Trực quan hóa dữ liệu mạng, mối quan hệ
  • Trực quan hóa dữ liệu tương tác
  • Tối ưu hóa hiệu suất và trải nghiệm người dùng.
• Kết nối Tableau với nhiều nguồn dữ liệu: SQL, Excel, Cloud (AWS/Azure/GCP), Oracle, Kafka.
•  …

5. Phân tích dữ liệu nâng cao với R & Python

• Tiền xử lý dữ liệu lớn với Pandas (Python) & dplyr (R) để làm sạch, biến đổi dữ liệu.
• Phân tích thống kê mô tả, suy diễn nâng cao, kiểm định giả thuyết
• Phân tích xu hướng (Trend Analysis): Kỹ thuật nâng cao với thống kê và trực quan hóa.
• Áp dụng Bayesian Analysis và Time Series Forecasting.
• Các mô hình dự báo chuỗi thời gian
• …

PHẦN B: MACHINE LEARNING VÀ ỨNG DỤNG (2 ngày)

3. Data Engineering & ETL với Oracle ODI

• Xây dựng quy trình ETL nâng cao với Oracle Data Integrator (ODI).
• Xử lý dữ liệu lớn với Apache Kafka và Streaming Data.
• Data Pipeline & Workflow Automation với Oracle và Kafka.
• …

6. Machine Learning ứng dụng

• Các loại bài toán: Supervised Learning (dự đoán, phân loại), Unsupervised Learning (phân cụm).
• Quy trình xây dựng mô hình ML: Thu thập dữ liệu, tiền xử lý, huấn luyện, đánh giá.
• Xây dựng mô hình dự đoán (Linear Regression, Decision Trees, Random Forest, XGBoost).
• Mô hình phân loại (Logistic Regression, SVM, Neural Networks).
• Triển khai mô hình với Scikit-learn và TensorFlow.
• Tích hợp Machine Learning vào hệ sinh thái Oracle & Kafka.
• …

7. Tích hợp Machine Learning vào Tableau

• Sử dụng Python/R Script trong Tableau.
• Triển khai các mô hình dự đoán trong Tableau.
• Case study: Xây dựng hệ thống dự báo trên Tableau kết hợp Oracle & Kafka.
• …

PHẦN D: DỰ ÁN THỰC TẾ (1 ngày)

8. Thực hành trên dữ liệu thực tế (lựa chọn 1 bài toán của EVN về phân tích dữ liệu)

• Xây dựng pipeline xử lý dữ liệu và phân tích chuyên sâu với Oracle, ODI và Kafka.
• Trực quan hóa dữ liệu và tạo báo cáo động với Tableau BI.
• Ứng dụng Machine Learning vào dự đoán xu hướng kinh doanh.
• Đánh giá hiệu quả mô hình và tối ưu hóa hệ thống phân tích.

 Phương pháp đào tạo:

• Học theo dự án thực tế, kết hợp lý thuyết và thực hành.
• Hướng dẫn thực hành trên dữ liệu thực tế.
• Đánh giá dựa trên kết quả cuối khóa (báo cáo, dashboard, mô hình dự đoán).

Lưu ý: Chương trình được thiết kế theo hướng thực hành nâng cao, phù hợp với nhân sự đã có kiến thức nền tảng về SQL, Tableau BI, Oracle, ODI, và Kafka.

Khảo sát kiến thức nền tảng về PHÂN TÍCH DỮ LIỆU