Dữ liệu đến trễ
Bài trước: event time và processing time lệch nhau. Một đơn đặt lúc 23:58 ngày 30/6, mạng chập, tới pipeline lúc 00:15 ngày 1/7. Đơn thuộc tháng 6 (event time). Nhưng nếu báo cáo tháng 6 đã chốt lúc 00:05, đơn này đi đâu?
Watermark
Watermark là lời hứa: "tôi đợi dữ liệu trễ tối đa X; sau đó cửa sổ thời gian được chốt, dữ liệu tới sau bị bỏ (hoặc xử lý riêng)".
Lưu ý: watermark tính theo event time, không theo đồng hồ treo tường. Spark tính watermark = event time lớn nhất đã thấy − X, nên nó tiến theo dữ liệu. Bài giả định sự kiện đến liên tục: lúc đơn trễ tới (00:15), event time lớn nhất đã thấy khoảng 00:15; watermark 10 phút = 00:05, đã qua cuối tháng 6 nên cửa sổ tháng 6 đóng; watermark 1 giờ = 23:15 ngày 30/6, cửa sổ còn mở. Watermark chỉ áp dụng cho phép toán có trạng thái (gom theo cửa sổ thời gian, khử trùng, join hai luồng); Spark đảm bảo dữ liệu trong ngưỡng được tính, còn dữ liệu trễ hơn ngưỡng có thể bị bỏ.
| Watermark | Đơn trễ 17 phút | Đánh đổi |
|---|---|---|
| 10 phút | bị bỏ | Kết quả nhanh, tốn ít bộ nhớ giữ trạng thái; mất dữ liệu trễ |
| 1 giờ | được nhận | Chính xác hơn; kết quả chậm hơn, giữ trạng thái lâu hơn |
Chọn theo người dùng con số:
- Báo cáo tài chính chốt sổ: cần đúng, chấp nhận chậm → watermark dài (hoặc batch chạy lại sau khi mọi dữ liệu đã tới).
- Dashboard marketing real-time: cần nhanh, thiếu vài đơn trễ không đổi quyết định → watermark ngắn.
Trong Spark Structured Streaming, watermark khai báo bằng withWatermark("order_ts", "10 minutes") trên cột event time (Track 2).
Delivery semantics
Nguồn (Kafka, API, file) giao một sự kiện cho pipeline bao nhiêu lần?
| Mức | Nghĩa | Hậu quả |
|---|---|---|
| At-most-once | Giao tối đa một lần, có thể mất | Mất dữ liệu khi lỗi |
| At-least-once | Giao ít nhất một lần, có thể lặp | Lặp dữ liệu nếu ghi bằng append |
| Exactly-once | Mỗi sự kiện có tác dụng đúng một lần | Điều ta muốn, nhưng khó đảm bảo đầu-cuối |
Hệ thống thật thường chọn at-least-once (thà gửi lại còn hơn mất) và làm bước ghi idempotent: sự kiện tới 1 hay 5 lần, bảng đích chỉ phản ánh nó một lần. Đó là exactly-once về kết quả, với điều kiện bản giao lại giống hệt bản trước. Nếu nguồn có nhiều phiên bản và bản cũ có thể tới sau bản mới, MERGE phải kèm điều kiện như WHEN MATCHED AND s.updated_at > t.updated_at để bản cũ không ghi đè bản mới.
Trong bài
| Bước | Tháng 6/2025 (completed) |
|---|---|
| Trước khi đơn trễ tới | 272 đơn · 3,959,861,000 |
| MERGE đơn trễ lần 1 | 273 đơn · 3,980,048,000 |
| Nguồn giao lại, MERGE lần 2 | 273 đơn · 3,980,048,000 (không đổi) |
| Nếu lần giao lại được nối thêm (chỉ đọc) | 274 đơn · 4,000,235,000 (đếm đôi) |
Đây chính là bài học của Module 04: at-least-once + MERGE theo khoá = exactly-once về kết quả. Idempotency là nền của streaming đúng.
flowchart LR
L[đơn trễ 17 phút] --> W{watermark}
W -->|10 phút| D[bỏ]
W -->|1 giờ| M[MERGE theo order_id]
M -->|giao lại| M
M --> S[tháng 6 cộng đúng một lần]
Một logic cho batch và stream
Kiến trúc Lambda cũ chạy song song một luồng streaming (nhanh, gần đúng) và một luồng batch (chậm, đúng): hai bộ code, hai con số luôn lệch nhau. Lakehouse (Track 2) dùng một logic (như lo_moi + MERGE) chạy theo lô lớn hay nhỏ trên cùng bảng Delta.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
arrived_at - order_ts <= INTERVAL 10 MINUTE |
đơn có nằm trong watermark không |
MERGE INTO t USING s ON t.order_id = s.order_id ... |
ghi idempotent, chịu được giao lại |
Lỗi hay gặp
- Watermark dài cho mọi thứ "cho chắc": trạng thái phình to, kết quả chậm.
- Tin nguồn "exactly-once" rồi ghi bằng append.
- Chốt sổ tài chính theo processing time: đơn trễ rơi sang tháng sau.