DataOps Peach

Data Foundations · Module 04

Idempotency và incremental load

Pipeline sẽ fail. Thiết kế để việc duy nhất phải làm lúc 7 giờ sáng là bấm chạy lại: MERGE thay INSERT, tham số processing_date, và incremental đúng cách.

Học tương tác →

Học xong bạn làm được

Bài học

  1. Vì sao idempotency quan trọng nhất

    Pipeline nào rồi cũng fail. Pipeline idempotent cho phép xử lý sự cố bằng một việc duy nhất là chạy lại, và ta kiểm chứng điều đó bằng vân tay chứ không bằng niềm tin.

  2. Bốn nguyên nhân mất idempotency

    INSERT thay MERGE, current_date trong logic, thứ tự không tất định và ghi bằng chế độ append. Nhận ra từng cái trong code, và xem lỗi đầu tiên xảy ra thật với lô dữ liệu mới.

  3. Full refresh vs incremental

    Full refresh tính lại tất cả và idempotent một cách tự nhiên; incremental chỉ xử lý phần mới nên rẻ hơn, nhưng phải cố tình làm cho idempotent. Dùng full refresh cho tới khi nó thật sự quá chậm.

  4. MERGE / upsert

    Upsert theo khoá - có thì cập nhật, chưa có thì chèn - là cách nạp incremental idempotent. Dedupe lô trước, chạy MERGE ba lần và thấy cùng một vân tay.

  5. processing_date và backfill

    Tham số hoá ngày xử lý để chạy lại một cửa sổ quá khứ ra đúng kết quả, và bắt cái bẫy âm thầm khi dữ liệu mới rơi ngoài phạm vi dimension.