DataOps Peach

Data Foundations · Module 05

Data quality và orchestration

Bug dữ liệu im lặng: job xanh nhưng số sai. Viết bộ check chặn được dữ liệu sai trước khi chảy xuống gold, và vẽ DAG có retry, timeout, alert.

Học tương tác →

Học xong bạn làm được

Bài học

  1. Bốn nhóm kiểm tra dữ liệu

    Code đúng mà dữ liệu vào hỏng thì số vẫn sai. Viết check cho schema, ràng buộc, bất thường thống kê và độ tươi, và đọc kết quả như một lời khai về dữ liệu.

  2. Chặn hay cảnh báo

    Check nào dừng pipeline, check nào chỉ báo cho người xem. Chặn khi dữ liệu chắc chắn sai, cảnh báo khi đáng ngờ, và cho check fail thật ít nhất một lần.

  3. DAG, retry, timeout, backfill

    Orchestration quyết định task nào chạy khi nào, theo thứ tự nào, và fail thì làm gì. Vẽ pipeline thành DAG, tìm task chạy song song và critical path, rồi chạy nó bằng năm file SQL.

  4. Đặt check trước khi ghi

    Job xanh không có nghĩa dữ liệu đúng. Check phải chạy trên đầu vào trước khi một task ghi đè bảng phía sau, và phải được kiểm chứng bằng một sự cố giả lập.