DataOps Peach

Data Foundations · Data quality và orchestration · Bài 2/4

Chặn hay cảnh báo

Check nào dừng pipeline, check nào chỉ báo cho người xem. Chặn khi dữ liệu chắc chắn sai, cảnh báo khi đáng ngờ, và cho check fail thật ít nhất một lần.

Học tương tác →

Hai mức

Quy tắc: chặn khi dữ liệu chắc chắn sai, cảnh báo khi dữ liệu đáng ngờ. Thà dừng còn hơn để số sai chảy xuống dashboard; nhưng dừng vì một chuyện không sai thì là báo động giả.

Bộ quyết định của bài

Check Mức Lý do
not_empty (fact có dòng) block Bảng rỗng chắc chắn sai
unique_order_id block Trùng khoá làm doanh thu đội lên
no_negative_revenue block Doanh thu âm chắc chắn sai (đơn quantity âm đã bị cách ly ở silver)
date_in_dim_date block Đơn ngoài dim_date biến mất khỏi gold (Module 04)
status_domain warn Status lạ có thể là trạng thái mới hợp lệ ("refunded"); cần người điều tra, không cần dừng
fk_customer warn 102 đơn mồ côi đã biết, đã gắn cờ; doanh thu vẫn thật
channel_null_over_10pct warn Thiếu kênh ảnh hưởng một báo cáo, không làm sai doanh thu

Bộ này chưa có check độ tươi và bất thường: độ tươi cần ngày tham chiếu của lần chạy và nên chạy như một monitor riêng ngoài pipeline (bài 5.1), còn check bất thường ±50% đang báo động giả (bên dưới). 04_checks.sql dựng view v_checks với 7 check này, rồi chạy một câu "cổng": nếu có check block nào fail thì gọi error(...), lệnh trả exit code 1. Trong pipeline, duckdb ... -f 04_checks.sql && duckdb ... -f 05_gold.sql chỉ ghi gold khi cổng mở (bài 5.3).

Cho nó fail thật

Một check chưa từng fail là một check chưa được kiểm chứng: có thể nó đúng, có thể nó luôn ra 0 vì viết sai. Bài cố tình thêm hai dòng sai vào fact: một đơn doanh thu âm và một bản lặp của ORD-000035. Kết quả: unique_order_id và no_negative_revenue FAIL, cổng báo lỗi, exit code 1.

Sửa không bằng cách xoá tay từng dòng mà chạy lại task đã dựng bảng (03_star.sql): fact được tính lại từ silver, đúng như trước khi phá. Check PASS trở lại. Pipeline idempotent làm cho việc sửa trở thành "chạy lại".

flowchart LR
  F[fact_orders] --> V[v_checks]
  V -->|mọi block PASS| G[cổng mở → gold]
  V -->|block FAIL| X[error · exit code 1 · dừng]
  V -->|warn| W[báo người xem · chạy tiếp]

Alert fatigue

Đặt mọi thứ ở mức block, hoặc ngưỡng quá chặt, thì pipeline dừng hoặc báo động liên tục vì những chuyện không sai. Sau vài tuần, mọi người tắt thông báo hoặc bấm "chạy lại" theo phản xạ. Đến khi có sự cố thật, không ai để ý. Một hệ thống giám sát kêu quá nhiều sẽ tự làm mình vô dụng.

Check anomaly ±50% của bài trước đánh dấu 31 ngày một năm với 4–26 đơn mỗi ngày. Để nó ở mức block là dừng pipeline mỗi tuần vì dao động bình thường. Sửa check, không sửa dữ liệu: nới ngưỡng, so với cùng thứ của tuần trước, hoặc chỉ bắt các trường hợp cực đoan (0 đơn, gấp 5 lần), và để ở mức warn.

Lệnh hay dùng

Lệnh Để làm gì
CREATE OR REPLACE VIEW v_checks AS SELECT '<tên>' AS check_name, '<block/warn>' AS muc, <số lỗi> AS so_loi ... gom check thành một bảng
SELECT CASE WHEN count(*) > 0 THEN error('...') END FROM v_checks WHERE muc = 'block' AND so_loi > 0 cổng: lỗi → exit code 1
lệnh_check && lệnh_ghi chỉ ghi khi check PASS

Lỗi hay gặp

Học tương tác →