Ngày là tham số, không lấy từ đồng hồ
Mỗi lần chạy pipeline xử lý dữ liệu của một khoảng thời gian: hôm qua, tháng trước, tuần 3 của tháng 1. Khoảng đó phải là tham số truyền vào (processing_date, hoặc start_date / end_date), không phải current_date lấy lúc chạy.
- Chạy đúng lịch: orchestrator truyền
processing_date = hôm qua. - Chạy lại sau sự cố: truyền đúng ngày bị lỗi, dù hôm nay là ngày nào.
- Backfill: chạy lại cho cả một khoảng quá khứ, từng ngày hoặc từng tháng.
Cùng tham số và cùng dữ liệu đầu vào thì phải ra cùng kết quả. reference_date của gold_customer_360 (bài 3.5) là cùng ý tưởng, và nó phải dời theo dữ liệu: giờ đã có đơn tới 31/1/2026, dựng lại bảng với DATE '2026-01-01' thì 215 khách có recency âm (đơn cuối của họ sau ngày tham chiếu). Lần chạy cho dữ liệu tháng 1 phải truyền ví dụ 2026-02-01.
Backfill một cửa sổ
Backfill an toàn khi bước ghi thay đúng cửa sổ đó, không cộng thêm:
BEGIN;
DELETE FROM gold_daily_revenue WHERE date_key BETWEEN <start_date> AND <end_date>;
INSERT INTO gold_daily_revenue SELECT ... WHERE d.date_key BETWEEN <start_date> AND <end_date> ...;
COMMIT;
Điều kiện để backfill được: logic nhận cửa sổ làm tham số, bước ghi thay cửa sổ (DELETE + INSERT trong transaction, MERGE, hoặc ghi đè partition), và dữ liệu nguồn của cửa sổ đó vẫn còn. Chạy lại đúng lệnh backfill trong bài cho cùng kết quả: 1584 dòng, chênh lệch 0.
Cửa sổ phải phủ mọi ngày mà lô mới chạm tới. Lô của bài vừa thêm đơn tháng 1/2026 vừa đổi trạng thái 148 đơn cũ nằm rải rác trong 2025; bài dựng lại gold cho cả năm 2025 trước (bước 2), nên chỉ còn tháng 1/2026 phải backfill.
Bẫy âm thầm: dữ liệu ngoài dimension
Sau MERGE, fact có 5372 đơn. Dựng lại gold_daily_revenue bằng đúng câu của bài 3.4:
- Không lỗi nào. Vẫn 1460 dòng như trước.
- Nhưng phép đối chiếu với fact lệch 3,535,126,000.
Lý do: cả 400 đơn mới nằm trong tháng 1/2026, mà dim_date chỉ phủ năm 2025. Lưới ngày × vùng dựng từ dim_date không có ô nào cho tháng 1/2026, nên doanh thu của chúng không có chỗ để rơi vào. Dashboard vẫn chạy, chỉ không có tháng 1.
flowchart LR F[fact_orders · 5372] -->|2025| G[gold_daily_revenue] F -->|01/2026: không có trong dim_date| X[400 đơn lạc · lệch 3,5 tỉ] D[dim_date mở rộng tới 2026-12-31] --> B[backfill 01/2026] B --> G
Sửa ở đâu
- Mở rộng dimension trước dữ liệu.
dim_datesinh tới hết 2026 (730 dòng). Bảng ngày rẻ; một tháng doanh thu biến mất thì không rẻ. - Kiểm "fact không khớp dim" sau mỗi lần nạp, phải ra 0. Bài 3.2 đã có câu này; Module 05 biến nó thành check chặn pipeline.
- Luôn đối chiếu tổng gold với fact. Số dòng đúng không có nghĩa nội dung đủ.
Sau khi mở rộng dim_date, backfill tháng 1/2026 thêm 31 × 4 = 124 dòng (1584) và chênh lệch về 0.
Ví dụ: tháng 1 biến mất
Đúng chuyện trong bài, chỉ khác là ở công ty thật không ai chạy phép đối chiếu. Ngày 5/2, trưởng phòng kinh doanh hỏi vì sao dashboard tháng 1 trống, trong khi hệ thống bán hàng ghi nhận hơn 3 tỉ doanh thu. Pipeline chạy xanh suốt cả tháng.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
... WHERE date_key BETWEEN <start_date> AND <end_date> |
cửa sổ xử lý là tham số |
BEGIN; DELETE ... ; INSERT ... ; COMMIT; |
thay đúng cửa sổ, chạy lại an toàn |
FROM fact f LEFT JOIN dim_date d USING (date_key) WHERE d.date_key IS NULL |
dữ liệu ngoài phạm vi dimension |
Lỗi hay gặp
- Lấy ngày xử lý từ
current_date: không backfill được ngày cũ. - Backfill bằng INSERT không xoá cửa sổ trước: cửa sổ bị cộng đôi.
- Không mở rộng dimension theo dữ liệu: dữ liệu mới biến mất mà không có lỗi.