DataOps Peach

Data Foundations · Batch vs streaming · Bài 4/4

Watermark và delivery semantics

Dữ liệu trễ thì đợi tới bao giờ? Watermark là lời hứa về thời gian chờ. Và nguồn gửi một lần, nhiều lần hay đúng một lần - at-least-once cộng MERGE theo khoá cho kết quả exactly-once.

Học tương tác →

Dữ liệu đến trễ

Bài trước: event time và processing time lệch nhau. Một đơn đặt lúc 23:58 ngày 30/6, mạng chập, tới pipeline lúc 00:15 ngày 1/7. Đơn thuộc tháng 6 (event time). Nhưng nếu báo cáo tháng 6 đã chốt lúc 00:05, đơn này đi đâu?

Watermark

Watermark là lời hứa: "tôi đợi dữ liệu trễ tối đa X; sau đó cửa sổ thời gian được chốt, dữ liệu tới sau bị bỏ (hoặc xử lý riêng)".

Lưu ý: watermark tính theo event time, không theo đồng hồ treo tường. Spark tính watermark = event time lớn nhất đã thấy − X, nên nó tiến theo dữ liệu. Bài giả định sự kiện đến liên tục: lúc đơn trễ tới (00:15), event time lớn nhất đã thấy khoảng 00:15; watermark 10 phút = 00:05, đã qua cuối tháng 6 nên cửa sổ tháng 6 đóng; watermark 1 giờ = 23:15 ngày 30/6, cửa sổ còn mở. Watermark chỉ áp dụng cho phép toán có trạng thái (gom theo cửa sổ thời gian, khử trùng, join hai luồng); Spark đảm bảo dữ liệu trong ngưỡng được tính, còn dữ liệu trễ hơn ngưỡng có thể bị bỏ.

Watermark Đơn trễ 17 phút Đánh đổi
10 phút bị bỏ Kết quả nhanh, tốn ít bộ nhớ giữ trạng thái; mất dữ liệu trễ
1 giờ được nhận Chính xác hơn; kết quả chậm hơn, giữ trạng thái lâu hơn

Chọn theo người dùng con số:

Trong Spark Structured Streaming, watermark khai báo bằng withWatermark("order_ts", "10 minutes") trên cột event time (Track 2).

Delivery semantics

Nguồn (Kafka, API, file) giao một sự kiện cho pipeline bao nhiêu lần?

Mức Nghĩa Hậu quả
At-most-once Giao tối đa một lần, có thể mất Mất dữ liệu khi lỗi
At-least-once Giao ít nhất một lần, có thể lặp Lặp dữ liệu nếu ghi bằng append
Exactly-once Mỗi sự kiện có tác dụng đúng một lần Điều ta muốn, nhưng khó đảm bảo đầu-cuối

Hệ thống thật thường chọn at-least-once (thà gửi lại còn hơn mất) và làm bước ghi idempotent: sự kiện tới 1 hay 5 lần, bảng đích chỉ phản ánh nó một lần. Đó là exactly-once về kết quả, với điều kiện bản giao lại giống hệt bản trước. Nếu nguồn có nhiều phiên bản và bản cũ có thể tới sau bản mới, MERGE phải kèm điều kiện như WHEN MATCHED AND s.updated_at > t.updated_at để bản cũ không ghi đè bản mới.

Trong bài

Bước Tháng 6/2025 (completed)
Trước khi đơn trễ tới 272 đơn · 3,959,861,000
MERGE đơn trễ lần 1 273 đơn · 3,980,048,000
Nguồn giao lại, MERGE lần 2 273 đơn · 3,980,048,000 (không đổi)
Nếu lần giao lại được nối thêm (chỉ đọc) 274 đơn · 4,000,235,000 (đếm đôi)

Đây chính là bài học của Module 04: at-least-once + MERGE theo khoá = exactly-once về kết quả. Idempotency là nền của streaming đúng.

flowchart LR
  L[đơn trễ 17 phút] --> W{watermark}
  W -->|10 phút| D[bỏ]
  W -->|1 giờ| M[MERGE theo order_id]
  M -->|giao lại| M
  M --> S[tháng 6 cộng đúng một lần]

Một logic cho batch và stream

Kiến trúc Lambda cũ chạy song song một luồng streaming (nhanh, gần đúng) và một luồng batch (chậm, đúng): hai bộ code, hai con số luôn lệch nhau. Lakehouse (Track 2) dùng một logic (như lo_moi + MERGE) chạy theo lô lớn hay nhỏ trên cùng bảng Delta.

Lệnh hay dùng

Lệnh Để làm gì
arrived_at - order_ts <= INTERVAL 10 MINUTE đơn có nằm trong watermark không
MERGE INTO t USING s ON t.order_id = s.order_id ... ghi idempotent, chịu được giao lại

Lỗi hay gặp

Học tương tác →