DataOps Peach

Data Foundations · Nghề DE/DataOps và dữ liệu thô · Bài 4/4

Săn lỗi trong dữ liệu thô

Tự đặt câu hỏi cho từng cột, đo trực tiếp thay vì đo bằng proxy, và viết biên bản lỗi có hậu quả nghiệp vụ.

Học tương tác →

Nạp thô trước, đo sau

Profiling là đi một vòng qua dữ liệu thô và đếm mọi điểm bẩn trước khi viết dòng làm sạch nào. Nạp bằng all_varchar=true để thấy giá trị đúng như trong file: nếu để công cụ tự đoán kiểu, nó có thể ép sai hoặc chọn kiểu chuỗi cho cả cột, và bạn không biết giá trị nào gây ra.

Bộ câu hỏi tự đặt cho mỗi bảng:

  1. Khoá (order_id) có duy nhất không? Nếu không: trùng hoàn toàn hay cùng mã khác nội dung?
  2. Cột số (unit_price, quantity) có thật là số không? Có giá trị âm, bằng 0 không?
  3. Cột thời gian có mấy định dạng?
  4. Khoá ngoại có trỏ tới bản ghi tồn tại không?
  5. Cột nào rỗng, rỗng bao nhiêu?
  6. Cột phân loại (region, status) có bao nhiêu cách viết?

Đo trực tiếp, đừng đo bằng proxy

GROUP BY length(order_ts) cho ra 2 nhóm (16 và 19 ký tự), dễ kết luận "có 2 định dạng ngày". Sai: 2025-06-21 21:42:35 và 2025-06-21T21:42:35 cùng dài 19 ký tự. Đếm bằng TRY_STRPTIME cho từng định dạng mới ra 3.

Tương tự, TRY_CAST(unit_price AS DOUBLE) thẳng cho ra hàng nghìn dòng "hỏng" vì "2,064,000 VND" không phải số. Con số đó trộn định dạng hợp lệ với giá trị thật sự hỏng nên vô dụng. Chuẩn hoá trước (bỏ , và VND) rồi mới đo: còn 305 giá trị như N/A, liên hệ, TBD.

Quy ước của nguồn hay lỗi đồng bộ?

102 đơn không tìm thấy khách. Hỏi tiếp: một mã lặp 102 lần hay 102 mã lạ? Ở đây cả 102 đều là C99999: hệ thống nguồn dùng mã mặc định khi thiếu khách. Đó là quy ước cần biết và xử lý (gắn cờ), không phải lỗi đồng bộ cần báo team nguồn. Hai chẩn đoán dẫn tới hai cách xử lý khác nhau.

flowchart LR
  R[raw_orders 5100 dòng] --> D[80 trùng 100%]
  R --> P[305 giá hỏng]
  R --> T[3 định dạng ngày]
  R --> O[102 mồ côi: C99999]
  R --> Q[48 quantity âm]
  R --> C[140 channel rỗng]

Biên bản lỗi

Mỗi lỗi một dòng: loại lỗi → số dòng → hậu quả nghiệp vụ. Cột hậu quả quan trọng nhất và viết bằng ngôn ngữ của người dùng số liệu, không phải "dữ liệu sai". Ví dụ: "80 dòng trùng làm doanh thu các đơn đó bị đếm hai lần; tổng tháng vẫn trông hợp lý nên không ai phát hiện."

Lệnh hay dùng

Lệnh Tìm gì
SELECT count(*), count(DISTINCT order_id) FROM raw_orders khoá trùng
... WHERE TRY_CAST(replace(replace(unit_price, ',', ''), ' VND', '') AS DOUBLE) IS NULL giá không đọc được
count(*) FILTER (WHERE TRY_STRPTIME(order_ts, '<định dạng>') IS NOT NULL) số dòng theo từng định dạng ngày
LEFT JOIN raw_customers c ... WHERE c.customer_id IS NULL khoá ngoại mồ côi
SELECT count(DISTINCT region) FROM raw_customers cách viết của cột phân loại

Lỗi hay gặp

Học tương tác →