DataOps Peach

Data Foundations

Data Foundations: track DataOps miễn phí gồm 6 module và 26 bài. Data engineer chịu trách nhiệm để con số đúng, đủ và mới. Vì sao ELT thay ETL, ba kiến…

Học tương tác →

Module

  1. 01 Nghề DE/DataOps và dữ liệu thô

    Data engineer chịu trách nhiệm để con số đúng, đủ và mới. Vì sao ELT thay ETL, ba kiến trúc lưu trữ, và tập nhìn dữ liệu thô như nó thật sự là.

  2. 02 Medallion: Bronze và Silver

    Bronze bảo tồn, silver diễn giải. Dựng tầng bronze trung thực với nguồn, rồi tầng silver sạch có bảng kiểm toán giải thích từng dòng đã mất.

  3. 03 Dimensional modeling và Gold

    Thiết kế star schema cho phân tích, hiểu vì sao warehouse ngược với chuẩn hoá, và dựng bảng gold có grain rõ ràng, đóng băng định nghĩa nghiệp vụ.

  4. 04 Idempotency và incremental load

    Pipeline sẽ fail. Thiết kế để việc duy nhất phải làm lúc 7 giờ sáng là bấm chạy lại: MERGE thay INSERT, tham số processing_date, và incremental đúng cách.

  5. 05 Data quality và orchestration

    Bug dữ liệu im lặng: job xanh nhưng số sai. Viết bộ check chặn được dữ liệu sai trước khi chảy xuống gold, và vẽ DAG có retry, timeout, alert.

  6. 06 Batch vs streaming

    Streaming đắt hơn batch về mọi mặt. Học cách quyết định độ trễ theo giá trị nghiệp vụ, và ba bài toán chỉ streaming mới có.