DataOps Peach

Data Foundations · Idempotency và incremental load · Bài 5/5

processing_date và backfill

Tham số hoá ngày xử lý để chạy lại một cửa sổ quá khứ ra đúng kết quả, và bắt cái bẫy âm thầm khi dữ liệu mới rơi ngoài phạm vi dimension.

Học tương tác →

Ngày là tham số, không lấy từ đồng hồ

Mỗi lần chạy pipeline xử lý dữ liệu của một khoảng thời gian: hôm qua, tháng trước, tuần 3 của tháng 1. Khoảng đó phải là tham số truyền vào (processing_date, hoặc start_date / end_date), không phải current_date lấy lúc chạy.

Cùng tham số và cùng dữ liệu đầu vào thì phải ra cùng kết quả. reference_date của gold_customer_360 (bài 3.5) là cùng ý tưởng, và nó phải dời theo dữ liệu: giờ đã có đơn tới 31/1/2026, dựng lại bảng với DATE '2026-01-01' thì 215 khách có recency âm (đơn cuối của họ sau ngày tham chiếu). Lần chạy cho dữ liệu tháng 1 phải truyền ví dụ 2026-02-01.

Backfill một cửa sổ

Backfill an toàn khi bước ghi thay đúng cửa sổ đó, không cộng thêm:

BEGIN;
DELETE FROM gold_daily_revenue WHERE date_key BETWEEN <start_date> AND <end_date>;
INSERT INTO gold_daily_revenue SELECT ... WHERE d.date_key BETWEEN <start_date> AND <end_date> ...;
COMMIT;

Điều kiện để backfill được: logic nhận cửa sổ làm tham số, bước ghi thay cửa sổ (DELETE + INSERT trong transaction, MERGE, hoặc ghi đè partition), và dữ liệu nguồn của cửa sổ đó vẫn còn. Chạy lại đúng lệnh backfill trong bài cho cùng kết quả: 1584 dòng, chênh lệch 0.

Cửa sổ phải phủ mọi ngày mà lô mới chạm tới. Lô của bài vừa thêm đơn tháng 1/2026 vừa đổi trạng thái 148 đơn cũ nằm rải rác trong 2025; bài dựng lại gold cho cả năm 2025 trước (bước 2), nên chỉ còn tháng 1/2026 phải backfill.

Bẫy âm thầm: dữ liệu ngoài dimension

Sau MERGE, fact có 5372 đơn. Dựng lại gold_daily_revenue bằng đúng câu của bài 3.4:

Lý do: cả 400 đơn mới nằm trong tháng 1/2026, mà dim_date chỉ phủ năm 2025. Lưới ngày × vùng dựng từ dim_date không có ô nào cho tháng 1/2026, nên doanh thu của chúng không có chỗ để rơi vào. Dashboard vẫn chạy, chỉ không có tháng 1.

flowchart LR
  F[fact_orders · 5372] -->|2025| G[gold_daily_revenue]
  F -->|01/2026: không có trong dim_date| X[400 đơn lạc · lệch 3,5 tỉ]
  D[dim_date mở rộng tới 2026-12-31] --> B[backfill 01/2026]
  B --> G

Sửa ở đâu

  1. Mở rộng dimension trước dữ liệu. dim_date sinh tới hết 2026 (730 dòng). Bảng ngày rẻ; một tháng doanh thu biến mất thì không rẻ.
  2. Kiểm "fact không khớp dim" sau mỗi lần nạp, phải ra 0. Bài 3.2 đã có câu này; Module 05 biến nó thành check chặn pipeline.
  3. Luôn đối chiếu tổng gold với fact. Số dòng đúng không có nghĩa nội dung đủ.

Sau khi mở rộng dim_date, backfill tháng 1/2026 thêm 31 × 4 = 124 dòng (1584) và chênh lệch về 0.

Ví dụ: tháng 1 biến mất

Đúng chuyện trong bài, chỉ khác là ở công ty thật không ai chạy phép đối chiếu. Ngày 5/2, trưởng phòng kinh doanh hỏi vì sao dashboard tháng 1 trống, trong khi hệ thống bán hàng ghi nhận hơn 3 tỉ doanh thu. Pipeline chạy xanh suốt cả tháng.

Lệnh hay dùng

Lệnh Để làm gì
... WHERE date_key BETWEEN <start_date> AND <end_date> cửa sổ xử lý là tham số
BEGIN; DELETE ... ; INSERT ... ; COMMIT; thay đúng cửa sổ, chạy lại an toàn
FROM fact f LEFT JOIN dim_date d USING (date_key) WHERE d.date_key IS NULL dữ liệu ngoài phạm vi dimension

Lỗi hay gặp

Học tương tác →