Hai mức
- Block (chặn): check fail thì pipeline dừng, bước ghi phía sau không chạy. Bảng gold giữ bản của lần chạy tốt gần nhất.
- Warn (cảnh báo): check fail thì pipeline chạy tiếp, nhưng có người được báo để xem.
Quy tắc: chặn khi dữ liệu chắc chắn sai, cảnh báo khi dữ liệu đáng ngờ. Thà dừng còn hơn để số sai chảy xuống dashboard; nhưng dừng vì một chuyện không sai thì là báo động giả.
Bộ quyết định của bài
| Check | Mức | Lý do |
|---|---|---|
not_empty (fact có dòng) |
block | Bảng rỗng chắc chắn sai |
unique_order_id |
block | Trùng khoá làm doanh thu đội lên |
no_negative_revenue |
block | Doanh thu âm chắc chắn sai (đơn quantity âm đã bị cách ly ở silver) |
date_in_dim_date |
block | Đơn ngoài dim_date biến mất khỏi gold (Module 04) |
status_domain |
warn | Status lạ có thể là trạng thái mới hợp lệ ("refunded"); cần người điều tra, không cần dừng |
fk_customer |
warn | 102 đơn mồ côi đã biết, đã gắn cờ; doanh thu vẫn thật |
channel_null_over_10pct |
warn | Thiếu kênh ảnh hưởng một báo cáo, không làm sai doanh thu |
Bộ này chưa có check độ tươi và bất thường: độ tươi cần ngày tham chiếu của lần chạy và nên chạy như một monitor riêng ngoài pipeline (bài 5.1), còn check bất thường ±50% đang báo động giả (bên dưới). 04_checks.sql dựng view v_checks với 7 check này, rồi chạy một câu "cổng": nếu có check block nào fail thì gọi error(...), lệnh trả exit code 1. Trong pipeline, duckdb ... -f 04_checks.sql && duckdb ... -f 05_gold.sql chỉ ghi gold khi cổng mở (bài 5.3).
Cho nó fail thật
Một check chưa từng fail là một check chưa được kiểm chứng: có thể nó đúng, có thể nó luôn ra 0 vì viết sai. Bài cố tình thêm hai dòng sai vào fact: một đơn doanh thu âm và một bản lặp của ORD-000035. Kết quả: unique_order_id và no_negative_revenue FAIL, cổng báo lỗi, exit code 1.
Sửa không bằng cách xoá tay từng dòng mà chạy lại task đã dựng bảng (03_star.sql): fact được tính lại từ silver, đúng như trước khi phá. Check PASS trở lại. Pipeline idempotent làm cho việc sửa trở thành "chạy lại".
flowchart LR F[fact_orders] --> V[v_checks] V -->|mọi block PASS| G[cổng mở → gold] V -->|block FAIL| X[error · exit code 1 · dừng] V -->|warn| W[báo người xem · chạy tiếp]
Alert fatigue
Đặt mọi thứ ở mức block, hoặc ngưỡng quá chặt, thì pipeline dừng hoặc báo động liên tục vì những chuyện không sai. Sau vài tuần, mọi người tắt thông báo hoặc bấm "chạy lại" theo phản xạ. Đến khi có sự cố thật, không ai để ý. Một hệ thống giám sát kêu quá nhiều sẽ tự làm mình vô dụng.
Check anomaly ±50% của bài trước đánh dấu 31 ngày một năm với 4–26 đơn mỗi ngày. Để nó ở mức block là dừng pipeline mỗi tuần vì dao động bình thường. Sửa check, không sửa dữ liệu: nới ngưỡng, so với cùng thứ của tuần trước, hoặc chỉ bắt các trường hợp cực đoan (0 đơn, gấp 5 lần), và để ở mức warn.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
CREATE OR REPLACE VIEW v_checks AS SELECT '<tên>' AS check_name, '<block/warn>' AS muc, <số lỗi> AS so_loi ... |
gom check thành một bảng |
SELECT CASE WHEN count(*) > 0 THEN error('...') END FROM v_checks WHERE muc = 'block' AND so_loi > 0 |
cổng: lỗi → exit code 1 |
lệnh_check && lệnh_ghi |
chỉ ghi khi check PASS |
Lỗi hay gặp
- Mọi check đều block: pipeline dừng vì chuyện vặt, người trực mệt mỏi.
- Mọi check đều warn: số sai vẫn chảy xuống gold, cảnh báo nằm trong một kênh chat không ai đọc.
- Check chưa từng fail được tin là đúng.
- Sửa dữ liệu cho check xanh thay vì hỏi check có hợp lý không.