Vì sao data quality khác software testing
Unit test kiểm code với đầu vào bạn tự chọn. Pipeline dữ liệu thì code có thể đúng mà dữ liệu vào hỏng (nguồn đổi định dạng, gửi trùng, file rỗng), và con số sai mà không lỗi nào được ném ra. Data quality check chạy trên dữ liệu thật, mỗi lần pipeline chạy.
Bốn nhóm
| Nhóm | Hỏi gì | Ví dụ trong bài |
|---|---|---|
| Schema | Cột có đủ, đúng kiểu không? | revenue là DECIMAL, date_key là DATE |
| Ràng buộc (constraint) | Mỗi dòng có tuân luật không? | khoá duy nhất, status trong miền, revenue không âm, khách có trong dim, null dưới ngưỡng |
| Bất thường (anomaly) | Con số hôm nay có lạ so với thường lệ không? | số đơn mỗi ngày lệch quá 50% so với trung bình 7 ngày trước |
| Độ tươi (freshness) | Dữ liệu mới nhất là lúc nào? | ngày mới nhất trong fact so với ngày tham chiếu |
Ràng buộc
Mỗi check đếm số dòng vi phạm: 0 là PASS.
- Khoá duy nhất:
count(*) - count(DISTINCT order_id). Bắt lỗi nạp trùng (Module 04). - Miền giá trị:
status NOT IN ('completed', 'pending', 'cancelled'). - Không âm:
revenue < 0. - Toàn vẹn tham chiếu: đơn có
customer_idkhông nằm trongdim_customer. Kết quả 102: chính các đơn C99999 của Module 02. Check không sai; nó đang nói thật về dữ liệu. Bài sau quyết định 102 này nên chặn hay chỉ cảnh báo. - Tỉ lệ null: không đòi 0 null khi nguồn thật sự bỏ trống; đặt ngưỡng (
channelnull 2.61% < 10%).
Bất thường
Khó nhất trong bốn nhóm, vì "bình thường" không có định nghĩa sẵn. Bài so số đơn mỗi ngày với trung bình 7 ngày liền trước: 31 trên 395 ngày bị đánh dấu, dù dữ liệu không hỏng. Ngày ít nhất 4 đơn, nhiều nhất 26: với khối lượng nhỏ như vậy, ±50% là dao động bình thường chứ không phải sự cố. Phản xạ đúng khi check fail lần đầu là đọc nó đang nói gì: 102 đơn mồ côi là vấn đề đã biết, 31 ngày là ngưỡng chưa hợp (bài 5.2), không phải "check lỗi, tắt đi".
Một sự cố thật trông khác hẳn: 12 đơn trong khi trung bình 800, hay 0 đơn cả ngày.
Độ tươi
"Pipeline đã chết 3 ngày rồi mà không ai biết": các check khác vẫn PASS vì dữ liệu cũ vẫn đúng. Chỉ freshness bắt được, và check độ tươi phải chạy ngoài pipeline (một lịch riêng), vì pipeline đã chết thì check nằm trong nó cũng không chạy. So ngày mới nhất với ngày tham chiếu của lần chạy (2026-02-01), không với đồng hồ, để chạy lại cho cùng kết quả. Trễ 1 ngày là bình thường với pipeline chạy hằng ngày; trễ 3 ngày là sự cố.
Schema
information_schema.columns cho biết cột và kiểu. Check này chặn những đổi kiểu lọt qua mà không có lỗi nào: ai đó sửa câu ép kiểu để revenue thành DOUBLE thay vì DECIMAL(18,2) (cộng tiền bắt đầu có sai số làm tròn), hay date_key thành TIMESTAMP còn giờ phút (quên ::DATE: join với dim_date hụt dòng, grain không còn theo ngày).
flowchart LR F[fact_orders] --> S[schema] F --> C[ràng buộc] F --> A[bất thường] F --> R[độ tươi]
Lệnh hay dùng
| Lệnh | Nhóm |
|---|---|
SELECT column_name, data_type FROM information_schema.columns WHERE table_name = '<bảng>' |
schema |
SELECT count(*) - count(DISTINCT <khoá>) FROM <bảng> |
khoá duy nhất |
FROM fact f LEFT JOIN dim d USING (<khoá>) WHERE d.<khoá> IS NULL |
toàn vẹn tham chiếu |
avg(n) OVER (ORDER BY ngay ROWS BETWEEN 7 PRECEDING AND 1 PRECEDING) |
trung bình 7 ngày trước |
DATE '<ngày tham chiếu>' - max(<cột ngày>) |
độ tươi |
Lỗi hay gặp
- Chỉ kiểm ràng buộc, bỏ freshness: pipeline chết mà mọi check vẫn xanh.
- Tắt check vì nó fail lần đầu thay vì đọc nó đang nói gì.
- Ngưỡng anomaly chép từ hệ thống khác mà không nhìn khối lượng dữ liệu của mình.
- Freshness so với
now(): chạy lại hôm sau ra kết quả khác.