Ba mô hình
| Mô hình | Xử lý khi nào | Độ trễ điển hình | Công cụ |
|---|---|---|---|
| Batch | Theo lịch: mỗi đêm, mỗi giờ | Phút tới giờ | DuckDB, Spark, dbt, mọi thứ ở Module 01–05 |
| Micro-batch | Liên tục, gom sự kiện mới thành lô nhỏ vài giây một lần | Từ vài trăm mili giây tới vài giây | Spark Structured Streaming (mặc định) |
| Streaming từng bản ghi | Mỗi sự kiện được xử lý ngay khi tới | Mili giây | Apache Flink, Kafka Streams |
Spark Structured Streaming mặc định là micro-batch. Mỗi lần kích hoạt (trigger), Spark xem nguồn có gì mới từ lần trước, xử lý phần đó như một lô nhỏ, ghi kết quả, rồi lặp lại. Vì mỗi lô phải lập kế hoạch, chạy và ghi, độ trễ ở chế độ mặc định khó xuống dưới khoảng trăm mili giây. Spark có các chế độ độ trễ thấp hơn (như "continuous", còn thử nghiệm) nhưng nhiều hạn chế; nhu cầu mili giây phổ biến vẫn dùng Flink. Kiểm tra docs của phiên bản bạn dùng.
Micro-batch là batch nhỏ chạy liên tục
Bài mô phỏng bằng cách chia lô 550 dòng thành 5 file 110 dòng và MERGE lần lượt từng file:
| Sau lô | silver_orders | Tổng tiền |
|---|---|---|
| (trước) | 4972 | |
| 0 | 5044 | 66,191,117,000 |
| 1–3 | 5286 | 69,324,821,000 |
| 4 | 5372 | 70,538,094,000 |
Kết quả cuối đúng bằng nạp cả lô một lần ở Module 04. Hai điều làm nên điều đó:
- Cùng logic cho mọi lô. Macro
lo_moi(f)gói đúng quy tắc silver; lô to hay nhỏ đều đi qua nó. - Ghi idempotent theo khoá. MERGE theo
order_id, nên cách chia lô không đổi kết quả cuối. Ở đây mỗi đơn chỉ có một dòng trong lô; nếu một đơn có nhiều phiên bản nằm ở nhiều lô thì thứ tự nạp quan trọng (bản sau thắng), và cần một cộtupdated_at/ version để MERGE chọn đúng bản.
Lô 0 có 110 dòng nhưng silver chỉ tăng 72: 38 dòng là đơn đã có trong silver (đơn pending cũ có trạng thái mới): 36 được MERGE cập nhật chứ không thêm dòng, 2 có quantity âm nên lo_moi bỏ trước khi MERGE, bản cũ trong silver giữ nguyên.
flowchart LR R[raw_orders_incremental · 550] --> P[5 file × 110] P --> M[lo_moi f · quy tắc silver] M -->|MERGE lô 0, 1, 2, 3, 4| S[silver_orders · 5372]
Streaming đắt ở đâu
- Compute: cluster chạy 24/7 thay vì vài chục phút mỗi đêm.
- Code: phải xử lý dữ liệu đến trễ, trạng thái giữa các lô (state), checkpoint để khởi động lại không mất hay lặp dữ liệu.
- Vận hành: job không bao giờ "xong"; giám sát độ trễ, độ lớn state, lô bị kẹt.
- Debug: lỗi xảy ra lúc 3 giờ sáng ở lô thứ 40,000, dữ liệu đầu vào lúc đó đã trôi qua.
Ví dụ: chi phí gấp 8
Tình huống giả định, nhưng thường gặp: một công ty chuyển toàn bộ pipeline sang streaming "cho hiện đại". Hoá đơn compute tăng khoảng 8 lần. Sau một quý, họ thấy dashboard chính chỉ được mở hai lần mỗi ngày, vào buổi họp sáng và chiều. Họ quay lại batch chạy mỗi giờ cho phần lớn bảng, giữ streaming cho đúng một luồng phát hiện gian lận, và giảm khoảng 85% chi phí. Bài sau bàn câu hỏi quyết định: độ trễ có tạo ra giá trị không?
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
CREATE OR REPLACE MACRO lo_moi(f) AS TABLE SELECT ... FROM read_csv_auto(f, ...) |
gói logic xử lý một lô thành hàm dùng lại |
MERGE INTO t USING lo_moi('part_0.csv') s ON ... |
xử lý một micro-batch |
Lỗi hay gặp
- Gọi micro-batch là "real-time từng bản ghi" rồi hứa độ trễ mili giây.
- Viết logic riêng cho luồng streaming khác với batch: hai con số không bao giờ khớp.
- Ghi micro-batch bằng append: lô bị gửi lại là đếm đôi (bài 6.4).