Nạp thô trước, đo sau
Profiling là đi một vòng qua dữ liệu thô và đếm mọi điểm bẩn trước khi viết dòng làm sạch nào. Nạp bằng all_varchar=true để thấy giá trị đúng như trong file: nếu để công cụ tự đoán kiểu, nó có thể ép sai hoặc chọn kiểu chuỗi cho cả cột, và bạn không biết giá trị nào gây ra.
Bộ câu hỏi tự đặt cho mỗi bảng:
- Khoá (
order_id) có duy nhất không? Nếu không: trùng hoàn toàn hay cùng mã khác nội dung? - Cột số (
unit_price,quantity) có thật là số không? Có giá trị âm, bằng 0 không? - Cột thời gian có mấy định dạng?
- Khoá ngoại có trỏ tới bản ghi tồn tại không?
- Cột nào rỗng, rỗng bao nhiêu?
- Cột phân loại (
region,status) có bao nhiêu cách viết?
Đo trực tiếp, đừng đo bằng proxy
GROUP BY length(order_ts) cho ra 2 nhóm (16 và 19 ký tự), dễ kết luận "có 2 định dạng ngày". Sai: 2025-06-21 21:42:35 và 2025-06-21T21:42:35 cùng dài 19 ký tự. Đếm bằng TRY_STRPTIME cho từng định dạng mới ra 3.
Tương tự, TRY_CAST(unit_price AS DOUBLE) thẳng cho ra hàng nghìn dòng "hỏng" vì "2,064,000 VND" không phải số. Con số đó trộn định dạng hợp lệ với giá trị thật sự hỏng nên vô dụng. Chuẩn hoá trước (bỏ , và VND) rồi mới đo: còn 305 giá trị như N/A, liên hệ, TBD.
Quy ước của nguồn hay lỗi đồng bộ?
102 đơn không tìm thấy khách. Hỏi tiếp: một mã lặp 102 lần hay 102 mã lạ? Ở đây cả 102 đều là C99999: hệ thống nguồn dùng mã mặc định khi thiếu khách. Đó là quy ước cần biết và xử lý (gắn cờ), không phải lỗi đồng bộ cần báo team nguồn. Hai chẩn đoán dẫn tới hai cách xử lý khác nhau.
flowchart LR R[raw_orders 5100 dòng] --> D[80 trùng 100%] R --> P[305 giá hỏng] R --> T[3 định dạng ngày] R --> O[102 mồ côi: C99999] R --> Q[48 quantity âm] R --> C[140 channel rỗng]
Biên bản lỗi
Mỗi lỗi một dòng: loại lỗi → số dòng → hậu quả nghiệp vụ. Cột hậu quả quan trọng nhất và viết bằng ngôn ngữ của người dùng số liệu, không phải "dữ liệu sai". Ví dụ: "80 dòng trùng làm doanh thu các đơn đó bị đếm hai lần; tổng tháng vẫn trông hợp lý nên không ai phát hiện."
Lệnh hay dùng
| Lệnh | Tìm gì |
|---|---|
SELECT count(*), count(DISTINCT order_id) FROM raw_orders |
khoá trùng |
... WHERE TRY_CAST(replace(replace(unit_price, ',', ''), ' VND', '') AS DOUBLE) IS NULL |
giá không đọc được |
count(*) FILTER (WHERE TRY_STRPTIME(order_ts, '<định dạng>') IS NOT NULL) |
số dòng theo từng định dạng ngày |
LEFT JOIN raw_customers c ... WHERE c.customer_id IS NULL |
khoá ngoại mồ côi |
SELECT count(DISTINCT region) FROM raw_customers |
cách viết của cột phân loại |
Lỗi hay gặp
- Xong trong 10 phút. Gần như chắc chắn đã bỏ sót; còn
statusviết hoa thường lẫn lộn và 25 khách trùng mã. - Dừng ở con số proxy (độ dài chuỗi, cast thẳng) thay vì đo đúng thứ cần đo.
- Sửa ngay khi thấy lỗi. Profiling chỉ đếm và ghi lại; làm sạch là việc của tầng silver ở module sau.