DataOps Peach

Data Foundations · Data quality và orchestration · Bài 4/4

Đặt check trước khi ghi

Job xanh không có nghĩa dữ liệu đúng. Check phải chạy trên đầu vào trước khi một task ghi đè bảng phía sau, và phải được kiểm chứng bằng một sự cố giả lập.

Học tương tác →

Job xanh, số sai

Một công ty tài chính: API của đối tác trả về file CSV chỉ có dòng tiêu đề. Pipeline nạp file đó (0 dòng, không lỗi), tính lại bảng gold (0 dòng, không lỗi), dashboard sáng hôm sau báo doanh thu bằng 0. CEO thấy trước đội dữ liệu. 40 người họp khẩn 3 tiếng để rồi phát hiện mọi job đều xanh.

Exit code 0 chỉ nói "code chạy hết mà không ném lỗi". Nó không nói gì về dữ liệu.

Check sau khi ghi là đã muộn

Hai vị trí đặt check:

Vị trí Hậu quả khi dữ liệu xấu
Sau khi ghi (kiểm bảng gold vừa ghi) Gold đã bị ghi đè; dashboard đã sai; chỉ còn biết để mà xoay xở
Trước khi ghi (kiểm đầu vào / bảng trung gian) Task ghi không chạy; gold giữ bản của lần chạy tốt gần nhất

Với task full refresh (ghi đè toàn bộ), đầu vào rỗng sẽ xoá sạch kết quả cũ. Vì vậy not_empty phải chạy trên bảng đầu vào của task đó, ngay trước khi nó chạy.

Mô phỏng trong bài

  1. Thay raw_orders_incremental.csv bằng file chỉ có tiêu đề (bản thật cất sang .bak).
  2. 01_ingest.sql chạy xanh: bronze_orders_incremental có 0 dòng.
  3. Nếu 02_silver.sql chạy tiếp, silver được tính lại với lô rỗng: 400 đơn tháng 1/2026 biến mất, 148 đơn quay về pending, và vẫn xanh. Các check sau đó trên fact đều PASS, vì một fact 4972 đơn vẫn hợp lệ về mọi ràng buộc.
  4. Check not_empty trên bronze_orders_incremental đặt trước 02_silver.sql bằng &&: FAIL, exit code 1, silver không chạy.
  5. Silver vẫn 5372 đơn, 324 pending; gold vẫn 1584 dòng. Trả file thật về, check PASS, chạy tiếp.
flowchart LR
  E[file chỉ có tiêu đề] --> B[bronze_orders_incremental · 0 dòng · job xanh]
  B --> C{not_empty}
  C -->|FAIL · exit 1| X[02_silver không chạy]
  C -->|PASS| S[02_silver → star → checks → gold]

Cũ một ngày còn hơn sai: số liệu hôm nay là của lần chạy tốt gần nhất, và người trực biết ngay vì check đã fail.

Check thông minh hơn "không rỗng"

not_empty bắt được file rỗng, nhưng không bắt được file chỉ có 12 dòng khi bình thường là 550. Bước tiếp theo là so khối lượng với lịch sử: số dòng lô hôm nay so với trung bình 7 lô gần nhất, chặn khi dưới một ngưỡng cực đoan (ví dụ dưới 20%), cảnh báo khi lệch vừa phải. Áp đúng bài học của 5.1–5.2: ngưỡng phải hợp với dữ liệu.

Check chưa từng fail là chưa được kiểm chứng

Bài cố tình gây sự cố bằng một lệnh head -1. Đây là cách chắc chắn nhất để biết check được đặt đúng chỗ và cổng thật sự đóng. Làm việc này trên môi trường thử, với bản sao file, và nhớ trả file thật về. Lệnh cất bản gốc của bài chỉ chép khi chưa có .bak ([ -f x.bak ] || cp x x.bak), để chạy lại bước giả lập không ghi đè mất bản gốc.

Lệnh hay dùng

Lệnh Để làm gì
head -1 <file> > <file rỗng> tạo file chỉ có tiêu đề để mô phỏng sự cố
SELECT CASE WHEN count(*) = 0 THEN error('...') ELSE '... PASS' END FROM <bảng đầu vào> check not_empty
lệnh_check && duckdb de_lab.duckdb -f <task ghi>.sql chỉ ghi khi check PASS

Lỗi hay gặp

Học tương tác →