Data Foundations · Module 05
Data quality và orchestration
Bug dữ liệu im lặng: job xanh nhưng số sai. Viết bộ check chặn được dữ liệu sai trước khi chảy xuống gold, và vẽ DAG có retry, timeout, alert.
Học xong bạn làm được
- Viết check cho schema, ràng buộc, bất thường và độ tươi
- Quyết định check nào chặn, check nào chỉ cảnh báo
- Vẽ DAG của pipeline và chỉ ra critical path
- Đặt check giữa transform và write, và cố tình làm nó fail
Bài học
- Bốn nhóm kiểm tra dữ liệu
Code đúng mà dữ liệu vào hỏng thì số vẫn sai. Viết check cho schema, ràng buộc, bất thường thống kê và độ tươi, và đọc kết quả như một lời khai về dữ liệu.
- Chặn hay cảnh báo
Check nào dừng pipeline, check nào chỉ báo cho người xem. Chặn khi dữ liệu chắc chắn sai, cảnh báo khi đáng ngờ, và cho check fail thật ít nhất một lần.
- DAG, retry, timeout, backfill
Orchestration quyết định task nào chạy khi nào, theo thứ tự nào, và fail thì làm gì. Vẽ pipeline thành DAG, tìm task chạy song song và critical path, rồi chạy nó bằng năm file SQL.
- Đặt check trước khi ghi
Job xanh không có nghĩa dữ liệu đúng. Check phải chạy trên đầu vào trước khi một task ghi đè bảng phía sau, và phải được kiểm chứng bằng một sự cố giả lập.