Data Foundations
Data Foundations: track DataOps miễn phí gồm 6 module và 26 bài. Data engineer chịu trách nhiệm để con số đúng, đủ và mới. Vì sao ELT thay ETL, ba kiến…
Module
- 01 Nghề DE/DataOps và dữ liệu thô
Data engineer chịu trách nhiệm để con số đúng, đủ và mới. Vì sao ELT thay ETL, ba kiến trúc lưu trữ, và tập nhìn dữ liệu thô như nó thật sự là.
- 02 Medallion: Bronze và Silver
Bronze bảo tồn, silver diễn giải. Dựng tầng bronze trung thực với nguồn, rồi tầng silver sạch có bảng kiểm toán giải thích từng dòng đã mất.
- 03 Dimensional modeling và Gold
Thiết kế star schema cho phân tích, hiểu vì sao warehouse ngược với chuẩn hoá, và dựng bảng gold có grain rõ ràng, đóng băng định nghĩa nghiệp vụ.
- 04 Idempotency và incremental load
Pipeline sẽ fail. Thiết kế để việc duy nhất phải làm lúc 7 giờ sáng là bấm chạy lại: MERGE thay INSERT, tham số processing_date, và incremental đúng cách.
- 05 Data quality và orchestration
Bug dữ liệu im lặng: job xanh nhưng số sai. Viết bộ check chặn được dữ liệu sai trước khi chảy xuống gold, và vẽ DAG có retry, timeout, alert.
- 06 Batch vs streaming
Streaming đắt hơn batch về mọi mặt. Học cách quyết định độ trễ theo giá trị nghiệp vụ, và ba bài toán chỉ streaming mới có.