Câu hỏi đúng
Trước khi chọn batch hay streaming, hỏi:
Nếu dữ liệu này trễ X phút, ai sẽ quyết định khác đi, và mất gì?
Nếu câu trả lời là "không ai", độ trễ thấp không tạo ra giá trị; nó chỉ tạo ra chi phí.
Cùng đích, khác chi phí
Bài nạp cùng một lô theo hai cách:
| Batch | Micro-batch | |
|---|---|---|
| Số lần chạy | 1 | 5 |
| Dòng đọc mỗi lần | 550 | 110 |
| Kết quả cuối | 5372 đơn · 70,538,094,000 | 5372 đơn · 70,538,094,000 |
| Dữ liệu có mặt | khi cả lô về | sớm hơn, từng phần |
Con số cuối y hệt. Thứ duy nhất micro-batch mua được là độ tươi giữa chừng, với cái giá là nhiều lần chạy hơn (và trong đời thật: cluster luôn bật, giám sát liên tục). Nếu báo cáo chỉ được đọc vào cuối ngày, năm lần chạy không mua được gì.
Khi nào độ trễ tạo ra giá trị
Streaming xứng đáng khi giá trị của thông tin giảm nhanh theo thời gian, và có người (hoặc hệ thống) hành động ngay:
- Phát hiện gian lận thẻ: chặn giao dịch trong vài giây, trước khi tiền đi.
- IoT, kho lạnh: nhiệt độ vượt ngưỡng thì báo trước khi hàng hỏng.
- Gợi ý theo phiên: khách đang xem điện thoại thì gợi ý ốp lưng ngay, không phải ngày mai.
- Định giá động: giá theo cung cầu từng phút.
Và không xứng đáng khi quyết định diễn ra theo nhịp chậm hơn dữ liệu:
- Báo cáo doanh thu ngày đọc trong buổi họp sáng.
- Huấn luyện lại mô hình ML mỗi tuần.
- Đối soát kế toán cuối tháng.
- Tồn kho cho kế hoạch nhập hàng tuần (khác với tồn kho cho nút "còn hàng" trên web).
Ví dụ: đúng 100% và vô dụng 100%
Tình huống giả định: một ngân hàng chạy phát hiện gian lận theo batch mỗi giờ. Báo cáo chính xác tuyệt đối: mọi giao dịch gian lận đều bị đánh dấu. Nhưng tiền đã rời tài khoản trong 15 phút đầu. Báo cáo đúng 100% và vô dụng 100%, vì giá trị của thông tin đã hết trước khi nó tới.
Chọn sai theo cả hai chiều
| Chọn sai | Hậu quả |
|---|---|
| Streaming cho việc không cần | Chi phí compute, code, vận hành gấp nhiều lần; đội mất thời gian giữ job sống |
| Batch cho việc cần real-time | Thông tin đúng nhưng tới sau khi quyết định đã qua |
Kiến trúc lakehouse (Track 2) giảm cái giá của việc đổi ý: cùng một logic (như lo_moi + MERGE của bài trước) chạy được theo lô lớn hay lô nhỏ, nên bắt đầu bằng batch rồi chuyển một luồng sang streaming khi có lý do, mà không phải viết lại logic.
flowchart LR
Q{Trễ X phút thì ai quyết định khác?} -->|không ai| B[Batch theo lịch]
Q -->|có người hành động ngay| S[Streaming / micro-batch]
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
for i in 0 1 2 3 4; do duckdb ... -c "MERGE ... lo_moi('part_$i.csv') ..."; done |
chạy nhiều micro-batch liên tiếp |
SELECT count(*), count(DISTINCT <khoá>), sum(<tiền>) FROM <bảng> |
so vân tay hai cách nạp |
Lỗi hay gặp
- Hỏi "có cần real-time không?": ai cũng trả lời "có". Hỏi ai hành động khác đi.
- Chọn streaming vì công nghệ hấp dẫn.
- Coi độ tươi là miễn phí khi so hai kiến trúc.