Ba chiến lược cho dòng lỗi
| Chiến lược | Làm gì | Dùng khi |
|---|---|---|
| Drop | Bỏ dòng | Dòng không mang thông tin gì mới, ví dụ trùng hoàn toàn |
| Flag | Giữ dòng trong silver, thêm cột cờ hoặc để NULL | Dòng vẫn dùng được cho phần lớn phân tích |
| Quarantine | Chuyển dòng sang bảng riêng (_rejected) |
Dòng sẽ làm sai số liệu nếu ở lại, nhưng cần người xem xét |
Áp vào dữ liệu lab:
- 80 dòng trùng hoàn toàn → drop. Bản còn lại chứa đủ thông tin.
- 48 đơn quantity âm → quarantine. Để lại thì doanh thu âm; xoá thì mất dấu vết nếu đó là đơn trả hàng. Chờ nghiệp vụ xác nhận.
- 102 đơn khách
C99999→ flag bằng cộtis_orphan_customer. Đơn vẫn có doanh thu thật, chỉ không gắn được với khách. - 305 giá không đọc được, 140 channel rỗng → flag: giữ dòng, giá trị là NULL.
Mặc định là flag hoặc quarantine. Drop chỉ dùng khi chứng minh được dòng đó thừa.
Không lặng lẽ drop
WHERE unit_price IS NOT NULL "cho nhanh" là cách mất dữ liệu phổ biến nhất. Không lỗi, không cảnh báo, và ba tháng sau có người hỏi: "sao số của anh khác số của tôi 300 dòng?". Không có ghi chép thì phải đọc lại toàn bộ code để trả lời.
Bảng kiểm toán
audit_log ghi mỗi quy tắc một dòng: rule (tên quy tắc), rows_affected (số dòng), action (drop / flag / quarantine), reason (lý do, viết cho người không đọc code). Bảng này quan trọng ngang bảng silver: nó trả lời "vì sao số liệu như vậy".
Ghi theo thứ tự thực thi: khử trùng chạy trước nên được ghi trước, và 48 đơn quantity âm là con số đếm sau khi đã khử trùng.
Phép cân đối
Mọi dòng vào đều phải có nơi đến:
bronze = silver + rejected + dropped
5100 = 4972 + 48 + 80
Chênh lệch khác 0 nghĩa là có dòng biến mất (hoặc sinh ra) mà không quy tắc nào giải thích: một JOIN làm nhân dòng, một WHERE bị quên. Dòng bị flag không nằm trong phép trừ vì nó vẫn ở trong silver.
Phép cộng đơn thuần chỉ đúng khi các tập rời nhau. Ở đây chúng rời nhau nhờ thứ tự thực thi: mỗi dòng rời pipeline đúng một lần. Nếu đếm từng loại lỗi trên bronze rồi cộng lại, một dòng vừa trùng vừa có quantity âm bị đếm hai lần và phép cân đối lệch. Các cờ cũng có thể chồng nhau: một đơn có thể vừa mồ côi vừa thiếu giá.
flowchart LR T[_typed_orders 5020] -->|quantity >= 0| S[silver_orders 4972] T -->|quantity < 0| R[silver_orders_rejected 48] S --> A[audit_log] R --> A A --> B[bronze − silver − rejected − dropped = 0]
revenue ở silver
silver_orders có cột revenue = quantity * unit_price cho mọi đơn, kể cả đơn cancelled và pending. Lọc theo status là quyết định nghiệp vụ, để tầng gold làm. 305 đơn thiếu giá có revenue là NULL, không phải 0.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
CREATE OR REPLACE TABLE silver_orders_rejected AS SELECT *, '<lý do>' AS reject_reason FROM ... WHERE <điều kiện lỗi> |
quarantine |
<điều kiện> AS is_<tên cờ> trong SELECT |
flag |
INSERT INTO audit_log VALUES ('<rule>', <số dòng>, '<action>', '<lý do>') |
ghi kiểm toán |
SELECT (bronze) - (silver) - (rejected) - (dropped) AS chenh_lech |
phép cân đối, phải ra 0 |
Lỗi hay gặp
- Lọc lỗi bằng WHERE rồi quên ghi lại. Dòng biến mất không dấu vết.
- Quarantine xong không ai xem. Bảng
_rejectedcần người chịu trách nhiệm xử lý, nếu không nó chỉ là drop chậm. NOT INgặp NULL. Chỉ cần mộtcustomer_idNULL trongsilver_customerslàNOT IN (...)trả NULL thay vì true: không đơn nào được gắn cờ, không lỗi. Lab không có mã NULL; khi không chắc, dùngNOT EXISTS.- Thay NULL bằng 0 cho "sạch". Giá 0 đồng là một khẳng định sai; NULL nói đúng sự thật là "không biết".
- Ghi audit_log bằng số đếm trên bronze thay vì số dòng quy tắc thật sự tác động theo thứ tự chạy.