DataOps Peach

Data Foundations · Idempotency và incremental load · Bài 3/5

Full refresh vs incremental

Full refresh tính lại tất cả và idempotent một cách tự nhiên; incremental chỉ xử lý phần mới nên rẻ hơn, nhưng phải cố tình làm cho idempotent. Dùng full refresh cho tới khi nó thật sự quá chậm.

Học tương tác →

Hai cách đưa lô mới vào silver

Full refresh: gộp mọi dữ liệu đã có (cũ + lô mới), tính lại toàn bộ silver từ đầu, ghi đè bảng.

Incremental: giữ silver hiện tại, chỉ xử lý lô mới và áp phần thay đổi vào.

Trong bài, full refresh dựng silver_full từ _typed_orders (5020 dòng) và stg_typed (550 dòng): mỗi order_id giữ bản của lô mới nhất, rồi áp đúng quy tắc silver. Kết quả 5372 đơn, mỗi đơn một dòng.

So sánh

Tiêu chí Full refresh Incremental
Idempotent Tự nhiên: không phụ thuộc lần chạy trước Phải thiết kế: MERGE theo khoá, dedupe lô
Chi phí mỗi lần chạy Đọc lại mọi thứ (5570 dòng), tăng mỗi ngày Chỉ đọc lô mới (550 dòng)
Độ phức tạp Thấp: một câu SELECT Cao hơn: khoá, cập nhật, xoá, dữ liệu đến trễ
Sửa logic Chạy lại là xong, mọi dữ liệu cũ được tính lại Phải backfill dữ liệu cũ theo logic mới

Incremental "phải cố tình" idempotent

Full refresh không nhớ gì về lần chạy trước, nên chạy lại bao nhiêu lần cũng ra một kết quả. Incremental thì phụ thuộc trạng thái hiện tại của bảng đích: nó phải biết đơn nào đã có, đơn nào mới, đơn nào đổi. Bài trước đã thấy cách sai (nối thêm). Muốn đúng phải có khoá, có MERGE, có dedupe lô; tất cả là việc phải làm thêm.

Phép thử trong bài: so silver_full với silver_orders hiện tại bằng EXCEPT ra 548 dòng (148 đơn đổi trạng thái + 400 đơn mới). Đó là toàn bộ việc mà một lần nạp incremental phải làm cho đúng. Bài 4.4 làm nó bằng MERGE và kiểm rằng kết quả khớp từng dòng với silver_full.

Một hệ quả dễ quên: sau khi nạp incremental, câu dựng silver của Module 02 (chỉ đọc _typed_orders) không còn là full refresh đúng nữa, vì nó không biết lô mới. Chạy lại nó sẽ làm mất lô. Pipeline incremental cần một đường full refresh riêng (như silver_full) cho lúc phải tính lại. silver_full trong bài chỉ đúng vì mới có một lô: stg_typed bị thay ở mỗi lô. Full refresh thật cần giữ mọi lô ở bronze (append-only, kèm _ingested_at hoặc số lô) và tính lại từ đó.

Lời khuyên

Dùng full refresh cho tới khi nó thật sự quá chậm hoặc quá đắt. Chuyển sang incremental khi:

Khi chuyển, giữ khả năng full refresh để sửa lỗi và kiểm chứng.

Ví dụ: tối ưu sớm

Một team làm incremental từ ngày đầu "cho chuyên nghiệp". Hai năm sau họ vẫn đang vật lộn với đơn trùng, đơn đổi trạng thái không được cập nhật, và các lần backfill tay. Trong khi đó, full refresh toàn bộ dữ liệu của họ chỉ mất 3 phút.

Chiều ngược lại cũng có: full refresh 4 năm dữ liệu mỗi đêm, chạy 6 tiếng, tốn tiền compute và không kịp xong trước giờ làm. Lúc đó incremental là đúng.

flowchart LR
  A[_typed_orders + lô mới] -->|full refresh: đọc 5570| F[silver_full · 5372]
  L[lô mới] -->|incremental: đọc 550| S[silver_orders]
  F -.->|EXCEPT = 548 dòng| S

Lệnh hay dùng

Lệnh Để làm gì
row_number() OVER (PARTITION BY <khoá> ORDER BY batch DESC) giữ bản mới nhất của mỗi khoá khi gộp nhiều lô
SELECT * FROM a EXCEPT SELECT * FROM b dòng có ở a mà b chưa có
DROP TABLE IF EXISTS x dọn bảng tạm, chạy lại không lỗi

Lỗi hay gặp

Học tương tác →