Data Foundations · Module 04
Idempotency và incremental load
Pipeline sẽ fail. Thiết kế để việc duy nhất phải làm lúc 7 giờ sáng là bấm chạy lại: MERGE thay INSERT, tham số processing_date, và incremental đúng cách.
Học xong bạn làm được
- Định nghĩa idempotency và kiểm chứng bằng cách chạy lại pipeline
- Nhận ra 4 nguyên nhân phổ biến làm mất idempotency
- Chọn giữa full refresh và incremental
- Viết upsert bằng MERGE, dedupe lô staging trước khi merge
- Backfill một cửa sổ ngày bằng tham số và phát hiện dữ liệu rơi ngoài dimension
Bài học
- Vì sao idempotency quan trọng nhất
Pipeline nào rồi cũng fail. Pipeline idempotent cho phép xử lý sự cố bằng một việc duy nhất là chạy lại, và ta kiểm chứng điều đó bằng vân tay chứ không bằng niềm tin.
- Bốn nguyên nhân mất idempotency
INSERT thay MERGE, current_date trong logic, thứ tự không tất định và ghi bằng chế độ append. Nhận ra từng cái trong code, và xem lỗi đầu tiên xảy ra thật với lô dữ liệu mới.
- Full refresh vs incremental
Full refresh tính lại tất cả và idempotent một cách tự nhiên; incremental chỉ xử lý phần mới nên rẻ hơn, nhưng phải cố tình làm cho idempotent. Dùng full refresh cho tới khi nó thật sự quá chậm.
- MERGE / upsert
Upsert theo khoá - có thì cập nhật, chưa có thì chèn - là cách nạp incremental idempotent. Dedupe lô trước, chạy MERGE ba lần và thấy cùng một vân tay.
- processing_date và backfill
Tham số hoá ngày xử lý để chạy lại một cửa sổ quá khứ ra đúng kết quả, và bắt cái bẫy âm thầm khi dữ liệu mới rơi ngoài phạm vi dimension.