DataOps Peach

Data Foundations · Medallion: Bronze và Silver · Bài 4/4

Dòng lỗi và bảng kiểm toán

Chọn drop, flag hay quarantine cho từng loại lỗi, và ghi bảng kiểm toán để mọi dòng biến mất đều giải thích được.

Học tương tác →

Ba chiến lược cho dòng lỗi

Chiến lược Làm gì Dùng khi
Drop Bỏ dòng Dòng không mang thông tin gì mới, ví dụ trùng hoàn toàn
Flag Giữ dòng trong silver, thêm cột cờ hoặc để NULL Dòng vẫn dùng được cho phần lớn phân tích
Quarantine Chuyển dòng sang bảng riêng (_rejected) Dòng sẽ làm sai số liệu nếu ở lại, nhưng cần người xem xét

Áp vào dữ liệu lab:

Mặc định là flag hoặc quarantine. Drop chỉ dùng khi chứng minh được dòng đó thừa.

Không lặng lẽ drop

WHERE unit_price IS NOT NULL "cho nhanh" là cách mất dữ liệu phổ biến nhất. Không lỗi, không cảnh báo, và ba tháng sau có người hỏi: "sao số của anh khác số của tôi 300 dòng?". Không có ghi chép thì phải đọc lại toàn bộ code để trả lời.

Bảng kiểm toán

audit_log ghi mỗi quy tắc một dòng: rule (tên quy tắc), rows_affected (số dòng), action (drop / flag / quarantine), reason (lý do, viết cho người không đọc code). Bảng này quan trọng ngang bảng silver: nó trả lời "vì sao số liệu như vậy".

Ghi theo thứ tự thực thi: khử trùng chạy trước nên được ghi trước, và 48 đơn quantity âm là con số đếm sau khi đã khử trùng.

Phép cân đối

Mọi dòng vào đều phải có nơi đến:

bronze = silver + rejected + dropped
5100   = 4972   + 48       + 80

Chênh lệch khác 0 nghĩa là có dòng biến mất (hoặc sinh ra) mà không quy tắc nào giải thích: một JOIN làm nhân dòng, một WHERE bị quên. Dòng bị flag không nằm trong phép trừ vì nó vẫn ở trong silver.

Phép cộng đơn thuần chỉ đúng khi các tập rời nhau. Ở đây chúng rời nhau nhờ thứ tự thực thi: mỗi dòng rời pipeline đúng một lần. Nếu đếm từng loại lỗi trên bronze rồi cộng lại, một dòng vừa trùng vừa có quantity âm bị đếm hai lần và phép cân đối lệch. Các cờ cũng có thể chồng nhau: một đơn có thể vừa mồ côi vừa thiếu giá.

flowchart LR
  T[_typed_orders 5020] -->|quantity >= 0| S[silver_orders 4972]
  T -->|quantity < 0| R[silver_orders_rejected 48]
  S --> A[audit_log]
  R --> A
  A --> B[bronze − silver − rejected − dropped = 0]

revenue ở silver

silver_orders có cột revenue = quantity * unit_price cho mọi đơn, kể cả đơn cancelled và pending. Lọc theo status là quyết định nghiệp vụ, để tầng gold làm. 305 đơn thiếu giá có revenue là NULL, không phải 0.

Lệnh hay dùng

Lệnh Để làm gì
CREATE OR REPLACE TABLE silver_orders_rejected AS SELECT *, '<lý do>' AS reject_reason FROM ... WHERE <điều kiện lỗi> quarantine
<điều kiện> AS is_<tên cờ> trong SELECT flag
INSERT INTO audit_log VALUES ('<rule>', <số dòng>, '<action>', '<lý do>') ghi kiểm toán
SELECT (bronze) - (silver) - (rejected) - (dropped) AS chenh_lech phép cân đối, phải ra 0

Lỗi hay gặp

Học tương tác →