DataOps Peach

Data Foundations · Idempotency và incremental load · Bài 1/5

Vì sao idempotency quan trọng nhất

Pipeline nào rồi cũng fail. Pipeline idempotent cho phép xử lý sự cố bằng một việc duy nhất là chạy lại, và ta kiểm chứng điều đó bằng vân tay chứ không bằng niềm tin.

Học tương tác →

Pipeline sẽ fail

Không phải "nếu" mà là "khi nào": mạng chập chờn, hết bộ nhớ, nguồn trả lỗi 500, ai đó deploy nhầm, máy bị khởi động lại giữa chừng. Lúc 7 giờ sáng, dashboard trống, bạn cần trả lời một câu: chạy lại có an toàn không?

Định nghĩa

Một pipeline là idempotent khi chạy nó một lần hay nhiều lần trên cùng dữ liệu đầu vào đều cho cùng một kết quả.

Nếu pipeline idempotent:

Nếu không, mỗi sự cố là một cuộc điều tra: bảng nào đã bị ghi, ghi mấy lần, phải xoá gì trước khi chạy lại.

Câu kiểm tra: "chạy lại 2 lần thì sao?"

Hỏi câu này với mọi bước của pipeline. Câu trả lời chấp nhận được là "giống hệt", kèm bằng chứng. "Chắc là ổn" nghĩa là chưa ai thử.

Các bước của Module 02–03 đều viết CREATE OR REPLACE TABLE ... AS SELECT ...: mỗi lần chạy thay toàn bộ bảng bằng kết quả tính từ tầng trước. Không có gì cộng dồn từ lần chạy cũ, nên chạy lại là an toàn.

Kiểm chứng bằng vân tay

Số dòng không đủ. Một pipeline lỗi có thể giữ nguyên số dòng mà đổi nội dung: một đơn bị lặp trong khi một đơn khác biến mất, hay một giá trị bị đổi. Vân tay là vài con số tóm tắt bảng, mỗi số bắt một loại lỗi:

Con số Bắt được gì
count(*) dòng bị thêm hoặc mất
count(DISTINCT order_id) dòng bị lặp (số dòng tăng mà số khoá không tăng)
sum(revenue) giá trị bị đổi, nhân đôi
sum(days_since_last_order) logic phụ thuộc đồng hồ (current_date)

Trong bài: lấy vân tay → chạy lại silver, fact, gold_customer_360 → lấy vân tay lần nữa. Cả bốn số giống hệt (4972, 4972, 65,243,707,000, 26339).

flowchart LR
  A[vân tay trước] --> R[chạy lại silver → fact → gold]
  R --> B[vân tay sau]
  A -.->|phải bằng| B

Ví dụ: tiền vận chuyển gấp ba

Một công ty logistics nạp chi phí vận chuyển mỗi giờ bằng INSERT INTO shipments SELECT .... Một đêm cluster bị treo, job chạy 3 lần (lần đầu và 2 lần retry); cả 3 lần đều đã ghi xong trước khi bị đánh dấu là fail. Không ai để ý. Ba tuần sau, phòng tài chính hỏi vì sao SUM(shipping_cost) của đêm đó gấp ba bình thường. Retry không có lỗi; lỗi là bước ghi không idempotent.

Retry chỉ an toàn khi idempotent

Retry tự động là tính năng của orchestrator, nhưng nó chỉ đúng khi bước được retry là idempotent. Bật retry cho một bước INSERT cộng dồn là mời lỗi gấp đôi, gấp ba vào hệ thống. Bài sau liệt kê bốn nguyên nhân hay gặp làm mất idempotency.

Lệnh hay dùng

Lệnh Để làm gì
SELECT count(*), count(DISTINCT <khoá>), sum(<số tiền>) FROM <bảng> vân tay của bảng
CREATE OR REPLACE TABLE x AS SELECT ... ghi đè toàn bộ, chạy lại an toàn

Lỗi hay gặp

Học tương tác →