DataOps Peach

Data Foundations · Batch vs streaming · Bài 2/4

Độ trễ có tạo ra giá trị không

Câu hỏi chọn kiến trúc không phải "streaming có hay không" mà là "nếu dữ liệu trễ X, ai quyết định khác đi?". Đa số câu hỏi kinh doanh không cần real-time; một số thì vô dụng nếu không có.

Học tương tác →

Câu hỏi đúng

Trước khi chọn batch hay streaming, hỏi:

Nếu dữ liệu này trễ X phút, ai sẽ quyết định khác đi, và mất gì?

Nếu câu trả lời là "không ai", độ trễ thấp không tạo ra giá trị; nó chỉ tạo ra chi phí.

Cùng đích, khác chi phí

Bài nạp cùng một lô theo hai cách:

Batch Micro-batch
Số lần chạy 1 5
Dòng đọc mỗi lần 550 110
Kết quả cuối 5372 đơn · 70,538,094,000 5372 đơn · 70,538,094,000
Dữ liệu có mặt khi cả lô về sớm hơn, từng phần

Con số cuối y hệt. Thứ duy nhất micro-batch mua được là độ tươi giữa chừng, với cái giá là nhiều lần chạy hơn (và trong đời thật: cluster luôn bật, giám sát liên tục). Nếu báo cáo chỉ được đọc vào cuối ngày, năm lần chạy không mua được gì.

Khi nào độ trễ tạo ra giá trị

Streaming xứng đáng khi giá trị của thông tin giảm nhanh theo thời gian, và có người (hoặc hệ thống) hành động ngay:

Và không xứng đáng khi quyết định diễn ra theo nhịp chậm hơn dữ liệu:

Ví dụ: đúng 100% và vô dụng 100%

Tình huống giả định: một ngân hàng chạy phát hiện gian lận theo batch mỗi giờ. Báo cáo chính xác tuyệt đối: mọi giao dịch gian lận đều bị đánh dấu. Nhưng tiền đã rời tài khoản trong 15 phút đầu. Báo cáo đúng 100% và vô dụng 100%, vì giá trị của thông tin đã hết trước khi nó tới.

Chọn sai theo cả hai chiều

Chọn sai Hậu quả
Streaming cho việc không cần Chi phí compute, code, vận hành gấp nhiều lần; đội mất thời gian giữ job sống
Batch cho việc cần real-time Thông tin đúng nhưng tới sau khi quyết định đã qua

Kiến trúc lakehouse (Track 2) giảm cái giá của việc đổi ý: cùng một logic (như lo_moi + MERGE của bài trước) chạy được theo lô lớn hay lô nhỏ, nên bắt đầu bằng batch rồi chuyển một luồng sang streaming khi có lý do, mà không phải viết lại logic.

flowchart LR
  Q{Trễ X phút thì ai quyết định khác?} -->|không ai| B[Batch theo lịch]
  Q -->|có người hành động ngay| S[Streaming / micro-batch]

Lệnh hay dùng

Lệnh Để làm gì
for i in 0 1 2 3 4; do duckdb ... -c "MERGE ... lo_moi('part_$i.csv') ..."; done chạy nhiều micro-batch liên tiếp
SELECT count(*), count(DISTINCT <khoá>), sum(<tiền>) FROM <bảng> so vân tay hai cách nạp

Lỗi hay gặp

Học tương tác →