DataOps Peach

Data Foundations · Idempotency và incremental load · Bài 2/5

Bốn nguyên nhân mất idempotency

INSERT thay MERGE, current_date trong logic, thứ tự không tất định và ghi bằng chế độ append. Nhận ra từng cái trong code, và xem lỗi đầu tiên xảy ra thật với lô dữ liệu mới.

Học tương tác →

Lô dữ liệu mới

raw_orders_incremental.csv có 550 dòng: 400 đơn mới của tháng 1/2026 và 150 đơn pending cũ nay đã có trạng thái mới (completed hoặc cancelled). Sau khi áp đúng quy tắc silver (ép kiểu, loại 2 đơn quantity âm, thêm revenue và cờ mồ côi), lô còn 548 dòng trong stg_orders. 148 trong số đó là đơn đã có trong silver_orders.

1. INSERT / append thay vì MERGE

-- sai: cộng thêm, không biết đơn nào đã có
INSERT INTO silver_orders SELECT * FROM stg_orders;

Kết quả trong bài (dùng UNION ALL để không làm hỏng silver thật):

Và đó mới là lần chạy đầu. Retry thêm một lần thì lô bị cộng lần nữa. Sửa: ghi bằng MERGE theo khoá (bài 4.4) hoặc ghi đè toàn bộ.

2. current_date trong logic nghiệp vụ

current_date - max(order_date) AS days_since_last_order   -- sai
DATE '2026-01-01' - max(order_date) AS days_since_last_order  -- đúng: tham số

Kết quả phụ thuộc vào ngày chạy chứ không chỉ vào dữ liệu. Sửa: truyền ngày làm tham số của lần chạy (reference_date, processing_date).

Ngoại lệ: _ingested_at ở bronze được phép dùng now(). Nó là metadata ghi nhận lúc nào dòng được nạp, không phải logic nghiệp vụ; không bảng gold nào tính số liệu từ nó. Hai lần nạp có hai thời điểm khác nhau là đúng sự thật.

3. Thứ tự không tất định

row_number() OVER (PARTITION BY customer_id ORDER BY signup_date DESC)

Hai bản của cùng một khách có cùng signup_date thì bản nào đứng đầu là không xác định (tuỳ thứ tự đọc, số luồng): hôm nay giữ bản A, mai giữ bản B. Module 02 đã sửa bằng tiêu chí phá hoà: ORDER BY signup_date DESC, full_name, email, sao cho bộ cột trong ORDER BY xác định duy nhất một dòng.

4. Ghi bằng chế độ append

Spark df.write.saveAsTable(...) mặc định báo lỗi khi bảng đã có, pandas to_sql(...) cũng vậy (if_exists="fail"). Để hết lỗi "bảng đã tồn tại", người ta hay thêm mode("append") hoặc if_exists="append", tức là nối thêm mỗi lần chạy. Một số cách ghi khác thì nối thêm ngay từ đầu: INSERT INTO, df.write.insertInto(...) của Spark. Lần chạy đầu luôn đúng, lỗi chỉ lộ ra ở lần thứ hai. Sửa: chọn tường minh overwrite (cho bảng tính lại toàn bộ) hoặc MERGE (cho bảng nạp dần).

flowchart LR
  S[silver_orders · 4972] --> U[UNION ALL / INSERT]
  L[stg_orders · 548] --> U
  U --> B[5520 dòng · 148 đơn lặp]

Cách đọc code để bắt lỗi

Với mỗi bước ghi, hỏi:

  1. Ghi kiểu gì? Thay toàn bộ, MERGE theo khoá, hay cộng thêm?
  2. Có gì phụ thuộc đồng hồ (now(), current_date) trong logic không?
  3. Có ROW_NUMBER, LIMIT, first() nào mà ORDER BY không xác định duy nhất một dòng?
  4. Bước ghi đang dùng chế độ nào: append, overwrite, hay báo lỗi khi bảng đã có?

Lệnh hay dùng

Lệnh Để làm gì
SELECT count(*), count(DISTINCT <khoá>) FROM <bảng> phát hiện dòng lặp
SELECT <khoá> FROM <bảng> GROUP BY 1 HAVING count(*) > 1 liệt kê khoá lặp

Lỗi hay gặp

Học tương tác →