Hai cách đưa lô mới vào silver
Full refresh: gộp mọi dữ liệu đã có (cũ + lô mới), tính lại toàn bộ silver từ đầu, ghi đè bảng.
Incremental: giữ silver hiện tại, chỉ xử lý lô mới và áp phần thay đổi vào.
Trong bài, full refresh dựng silver_full từ _typed_orders (5020 dòng) và stg_typed (550 dòng): mỗi order_id giữ bản của lô mới nhất, rồi áp đúng quy tắc silver. Kết quả 5372 đơn, mỗi đơn một dòng.
So sánh
| Tiêu chí | Full refresh | Incremental |
|---|---|---|
| Idempotent | Tự nhiên: không phụ thuộc lần chạy trước | Phải thiết kế: MERGE theo khoá, dedupe lô |
| Chi phí mỗi lần chạy | Đọc lại mọi thứ (5570 dòng), tăng mỗi ngày | Chỉ đọc lô mới (550 dòng) |
| Độ phức tạp | Thấp: một câu SELECT | Cao hơn: khoá, cập nhật, xoá, dữ liệu đến trễ |
| Sửa logic | Chạy lại là xong, mọi dữ liệu cũ được tính lại | Phải backfill dữ liệu cũ theo logic mới |
Incremental "phải cố tình" idempotent
Full refresh không nhớ gì về lần chạy trước, nên chạy lại bao nhiêu lần cũng ra một kết quả. Incremental thì phụ thuộc trạng thái hiện tại của bảng đích: nó phải biết đơn nào đã có, đơn nào mới, đơn nào đổi. Bài trước đã thấy cách sai (nối thêm). Muốn đúng phải có khoá, có MERGE, có dedupe lô; tất cả là việc phải làm thêm.
Phép thử trong bài: so silver_full với silver_orders hiện tại bằng EXCEPT ra 548 dòng (148 đơn đổi trạng thái + 400 đơn mới). Đó là toàn bộ việc mà một lần nạp incremental phải làm cho đúng. Bài 4.4 làm nó bằng MERGE và kiểm rằng kết quả khớp từng dòng với silver_full.
Một hệ quả dễ quên: sau khi nạp incremental, câu dựng silver của Module 02 (chỉ đọc _typed_orders) không còn là full refresh đúng nữa, vì nó không biết lô mới. Chạy lại nó sẽ làm mất lô. Pipeline incremental cần một đường full refresh riêng (như silver_full) cho lúc phải tính lại. silver_full trong bài chỉ đúng vì mới có một lô: stg_typed bị thay ở mỗi lô. Full refresh thật cần giữ mọi lô ở bronze (append-only, kèm _ingested_at hoặc số lô) và tính lại từ đó.
Lời khuyên
Dùng full refresh cho tới khi nó thật sự quá chậm hoặc quá đắt. Chuyển sang incremental khi:
- dữ liệu lớn tới mức tính lại mỗi lần vượt cửa sổ thời gian hoặc ngân sách;
- nguồn chỉ cho lấy phần mới (API chỉ trả thay đổi từ thời điểm X, dữ liệu cũ đã bị xoá ở nguồn).
Khi chuyển, giữ khả năng full refresh để sửa lỗi và kiểm chứng.
Ví dụ: tối ưu sớm
Một team làm incremental từ ngày đầu "cho chuyên nghiệp". Hai năm sau họ vẫn đang vật lộn với đơn trùng, đơn đổi trạng thái không được cập nhật, và các lần backfill tay. Trong khi đó, full refresh toàn bộ dữ liệu của họ chỉ mất 3 phút.
Chiều ngược lại cũng có: full refresh 4 năm dữ liệu mỗi đêm, chạy 6 tiếng, tốn tiền compute và không kịp xong trước giờ làm. Lúc đó incremental là đúng.
flowchart LR A[_typed_orders + lô mới] -->|full refresh: đọc 5570| F[silver_full · 5372] L[lô mới] -->|incremental: đọc 550| S[silver_orders] F -.->|EXCEPT = 548 dòng| S
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
row_number() OVER (PARTITION BY <khoá> ORDER BY batch DESC) |
giữ bản mới nhất của mỗi khoá khi gộp nhiều lô |
SELECT * FROM a EXCEPT SELECT * FROM b |
dòng có ở a mà b chưa có |
DROP TABLE IF EXISTS x |
dọn bảng tạm, chạy lại không lỗi |
Lỗi hay gặp
- Làm incremental khi full refresh chỉ mất vài phút.
- Bỏ luôn đường full refresh sau khi chuyển sang incremental: mất cách tính lại khi phát hiện lỗi.
- Chạy lại câu dựng silver cũ sau khi đã nạp incremental, làm mất lô mới.