DataOps Peach

Data Foundations · Data quality và orchestration · Bài 1/4

Bốn nhóm kiểm tra dữ liệu

Code đúng mà dữ liệu vào hỏng thì số vẫn sai. Viết check cho schema, ràng buộc, bất thường thống kê và độ tươi, và đọc kết quả như một lời khai về dữ liệu.

Học tương tác →

Vì sao data quality khác software testing

Unit test kiểm code với đầu vào bạn tự chọn. Pipeline dữ liệu thì code có thể đúng mà dữ liệu vào hỏng (nguồn đổi định dạng, gửi trùng, file rỗng), và con số sai mà không lỗi nào được ném ra. Data quality check chạy trên dữ liệu thật, mỗi lần pipeline chạy.

Bốn nhóm

Nhóm Hỏi gì Ví dụ trong bài
Schema Cột có đủ, đúng kiểu không? revenue là DECIMAL, date_key là DATE
Ràng buộc (constraint) Mỗi dòng có tuân luật không? khoá duy nhất, status trong miền, revenue không âm, khách có trong dim, null dưới ngưỡng
Bất thường (anomaly) Con số hôm nay có lạ so với thường lệ không? số đơn mỗi ngày lệch quá 50% so với trung bình 7 ngày trước
Độ tươi (freshness) Dữ liệu mới nhất là lúc nào? ngày mới nhất trong fact so với ngày tham chiếu

Ràng buộc

Mỗi check đếm số dòng vi phạm: 0 là PASS.

Bất thường

Khó nhất trong bốn nhóm, vì "bình thường" không có định nghĩa sẵn. Bài so số đơn mỗi ngày với trung bình 7 ngày liền trước: 31 trên 395 ngày bị đánh dấu, dù dữ liệu không hỏng. Ngày ít nhất 4 đơn, nhiều nhất 26: với khối lượng nhỏ như vậy, ±50% là dao động bình thường chứ không phải sự cố. Phản xạ đúng khi check fail lần đầu là đọc nó đang nói gì: 102 đơn mồ côi là vấn đề đã biết, 31 ngày là ngưỡng chưa hợp (bài 5.2), không phải "check lỗi, tắt đi".

Một sự cố thật trông khác hẳn: 12 đơn trong khi trung bình 800, hay 0 đơn cả ngày.

Độ tươi

"Pipeline đã chết 3 ngày rồi mà không ai biết": các check khác vẫn PASS vì dữ liệu cũ vẫn đúng. Chỉ freshness bắt được, và check độ tươi phải chạy ngoài pipeline (một lịch riêng), vì pipeline đã chết thì check nằm trong nó cũng không chạy. So ngày mới nhất với ngày tham chiếu của lần chạy (2026-02-01), không với đồng hồ, để chạy lại cho cùng kết quả. Trễ 1 ngày là bình thường với pipeline chạy hằng ngày; trễ 3 ngày là sự cố.

Schema

information_schema.columns cho biết cột và kiểu. Check này chặn những đổi kiểu lọt qua mà không có lỗi nào: ai đó sửa câu ép kiểu để revenue thành DOUBLE thay vì DECIMAL(18,2) (cộng tiền bắt đầu có sai số làm tròn), hay date_key thành TIMESTAMP còn giờ phút (quên ::DATE: join với dim_date hụt dòng, grain không còn theo ngày).

flowchart LR
  F[fact_orders] --> S[schema]
  F --> C[ràng buộc]
  F --> A[bất thường]
  F --> R[độ tươi]

Lệnh hay dùng

Lệnh Nhóm
SELECT column_name, data_type FROM information_schema.columns WHERE table_name = '<bảng>' schema
SELECT count(*) - count(DISTINCT <khoá>) FROM <bảng> khoá duy nhất
FROM fact f LEFT JOIN dim d USING (<khoá>) WHERE d.<khoá> IS NULL toàn vẹn tham chiếu
avg(n) OVER (ORDER BY ngay ROWS BETWEEN 7 PRECEDING AND 1 PRECEDING) trung bình 7 ngày trước
DATE '<ngày tham chiếu>' - max(<cột ngày>) độ tươi

Lỗi hay gặp

Học tương tác →