Data Engineering: Từ SQL và Python đến pipeline dữ liệu
Xây pipeline dữ liệu từ SQL, Python đến Airflow, dbt, Spark, Kafka và lakehouse; kiểm thử chất lượng, CI/CD và Power BI qua lab và dự án cuối khóa.
—0 đánh giáNội dung khóa học
01Giới thiệu khóa học và vòng đời dữ liệu6 bài học
02Linux, Git và Docker cho kỹ sư dữ liệu8 bài học
Chưa có bài học được xuất bản trong chương này.
03Python cho dữ liệu8 bài học
Chưa có bài học được xuất bản trong chương này.
04SQL nâng cao và tối ưu truy vấn10 bài học
Chưa có bài học được xuất bản trong chương này.
05Mô hình hóa dữ liệu10 bài học
Chưa có bài học được xuất bản trong chương này.
06Data warehouse và OLAP10 bài học
Chưa có bài học được xuất bản trong chương này.
07Thiết kế pipeline ETL/ELT10 bài học
Chưa có bài học được xuất bản trong chương này.
08Điều phối workflow với Airflow10 bài học
Chưa có bài học được xuất bản trong chương này.
09Biến đổi dữ liệu với dbt11 bài học
Chưa có bài học được xuất bản trong chương này.
10Xử lý dữ liệu lớn với Spark10 bài học
Chưa có bài học được xuất bản trong chương này.
11Streaming với Kafka10 bài học
Chưa có bài học được xuất bản trong chương này.
12Cloud và kiến trúc lakehouse10 bài học
Chưa có bài học được xuất bản trong chương này.
13Chất lượng dữ liệu10 bài học
Chưa có bài học được xuất bản trong chương này.
14Quan sát, governance và bảo mật dữ liệu10 bài học
Chưa có bài học được xuất bản trong chương này.
15DataOps: CI/CD và hạ tầng dưới dạng mã8 bài học
Chưa có bài học được xuất bản trong chương này.
16Power BI: từ dữ liệu đến báo cáo doanh nghiệp35 bài học
Chưa có bài học được xuất bản trong chương này.
17Dự án cuối khóa, đánh giá và định hướng nghề nghiệp5 bài học
Chưa có bài học được xuất bản trong chương này.
Bạn sẽ học được gì
Yêu cầu đầu vào
- Biết lập trình cơ bản, ưu tiên Python; biết SELECT, JOIN và GROUP BY.
- Máy tính chạy được Docker; phần Power BI cần Windows cho Power BI Desktop hoặc dịch vụ tương ứng.
- Nếu thực hành cloud, cần tài khoản phù hợp và tự theo dõi hạn mức, chi phí; không mặc định mọi dịch vụ đều miễn phí.
Theo dấu dữ liệu từ nguồn đến báo cáo
Hai con số doanh thu của cùng một tuần chênh nhau 150 triệu đồng: lỗi nằm ở đâu? Một pipeline hữu ích không chỉ chuyển được dữ liệu; bạn còn cần mô hình phù hợp, lịch chạy, kiểm tra chất lượng và cách nhận biết sự cố. Khóa học dành cho người đã biết lập trình và SQL cơ bản, muốn hiểu cách xây một quy trình dữ liệu có thể kiểm chứng. Lộ trình đi từ Linux, Git, Docker, Python và SQL nâng cao đến mô hình hóa dữ liệu, data warehouse, ETL/ELT, Airflow và dbt. Sau đó là Spark, Kafka, lakehouse trên cloud, chất lượng dữ liệu, quan sát và bảo mật, CI/CD với Terraform, và Power BI để đưa dữ liệu đến người dùng cuối. Cả khóa dùng chung một chuỗi cửa hàng bán lẻ giả định, GDev Mart, nên bạn thấy dữ liệu đi qua từng tầng. Mỗi bài bắt đầu từ một tình huống, có sơ đồ, nhiều bài có mô phỏng, quiz có giải thích và bài lab kèm đáp án tham chiếu. Chương cuối là dự án end-to-end để bạn ghép các phần đã học.
Giảng viên của bạn
Đội ngũ GDev
Biên soạn khóa Data Engineering
Đội ngũ GDev biên soạn khóa học bằng tiếng Việt và giữ thuật ngữ kỹ thuật bằng tiếng Anh. Mỗi bài đi từ một tình huống cụ thể đến giải thích, ví dụ và câu hỏi kiểm tra để bạn tự đánh giá mình đã hiểu chưa. Khóa dùng chuỗi cửa hàng bán lẻ giả định GDev Mart làm dữ liệu xuyên suốt từ SQL đến báo cáo.
Đánh giá khóa học
Chưa có đánh giá nào được duyệt cho khóa học này.
Câu hỏi thường gặp
Tôi có thể bắt đầu nếu chưa biết SQL và Python không?
Nên học cú pháp Python và SQL căn bản trước. Khóa có phần củng cố nền tảng nhưng trọng tâm là cách phối hợp công cụ trong quy trình dữ liệu.
Dự án cuối khóa yêu cầu gì?
Chương cuối có đề bài xây một nền tảng dữ liệu end-to-end, kèm yêu cầu về kiến trúc, tiêu chí đánh giá và bản demo. Hãy đọc kỹ đề bài để xác định phạm vi và sản phẩm cần nộp.
Khóa dùng phiên bản công cụ nào?
Nội dung đối chiếu với tài liệu chính thức của Airflow 3, dbt Core, Spark 4, Kafka 4 và PostgreSQL. Phiên bản thay đổi theo thời gian, nên mỗi bài có mục nguồn tham khảo để bạn kiểm tra tài liệu mới nhất.
Có bắt buộc hoàn thành theo một số tuần cố định không?
Bài giới thiệu có lộ trình gợi ý để phân bổ việc học. Thời gian thực tế phụ thuộc kiến thức đầu vào, môi trường thực hành và thời gian bạn dành cho mỗi tuần.