DataOps Peach

Data Foundations · Batch vs streaming · Bài 1/4

Batch, micro-batch, streaming

Ba cách xử lý dữ liệu theo thời gian - theo lịch, theo lô nhỏ liên tục, và từng bản ghi. Spark Structured Streaming thuộc loại nào, và streaming đắt ở đâu.

Học tương tác →

Ba mô hình

Mô hình Xử lý khi nào Độ trễ điển hình Công cụ
Batch Theo lịch: mỗi đêm, mỗi giờ Phút tới giờ DuckDB, Spark, dbt, mọi thứ ở Module 01–05
Micro-batch Liên tục, gom sự kiện mới thành lô nhỏ vài giây một lần Từ vài trăm mili giây tới vài giây Spark Structured Streaming (mặc định)
Streaming từng bản ghi Mỗi sự kiện được xử lý ngay khi tới Mili giây Apache Flink, Kafka Streams

Spark Structured Streaming mặc định là micro-batch. Mỗi lần kích hoạt (trigger), Spark xem nguồn có gì mới từ lần trước, xử lý phần đó như một lô nhỏ, ghi kết quả, rồi lặp lại. Vì mỗi lô phải lập kế hoạch, chạy và ghi, độ trễ ở chế độ mặc định khó xuống dưới khoảng trăm mili giây. Spark có các chế độ độ trễ thấp hơn (như "continuous", còn thử nghiệm) nhưng nhiều hạn chế; nhu cầu mili giây phổ biến vẫn dùng Flink. Kiểm tra docs của phiên bản bạn dùng.

Micro-batch là batch nhỏ chạy liên tục

Bài mô phỏng bằng cách chia lô 550 dòng thành 5 file 110 dòng và MERGE lần lượt từng file:

Sau lô silver_orders Tổng tiền
(trước) 4972
0 5044 66,191,117,000
1–3 5286 69,324,821,000
4 5372 70,538,094,000

Kết quả cuối đúng bằng nạp cả lô một lần ở Module 04. Hai điều làm nên điều đó:

  1. Cùng logic cho mọi lô. Macro lo_moi(f) gói đúng quy tắc silver; lô to hay nhỏ đều đi qua nó.
  2. Ghi idempotent theo khoá. MERGE theo order_id, nên cách chia lô không đổi kết quả cuối. Ở đây mỗi đơn chỉ có một dòng trong lô; nếu một đơn có nhiều phiên bản nằm ở nhiều lô thì thứ tự nạp quan trọng (bản sau thắng), và cần một cột updated_at / version để MERGE chọn đúng bản.

Lô 0 có 110 dòng nhưng silver chỉ tăng 72: 38 dòng là đơn đã có trong silver (đơn pending cũ có trạng thái mới): 36 được MERGE cập nhật chứ không thêm dòng, 2 có quantity âm nên lo_moi bỏ trước khi MERGE, bản cũ trong silver giữ nguyên.

flowchart LR
  R[raw_orders_incremental · 550] --> P[5 file × 110]
  P --> M[lo_moi f · quy tắc silver]
  M -->|MERGE lô 0, 1, 2, 3, 4| S[silver_orders · 5372]

Streaming đắt ở đâu

Ví dụ: chi phí gấp 8

Tình huống giả định, nhưng thường gặp: một công ty chuyển toàn bộ pipeline sang streaming "cho hiện đại". Hoá đơn compute tăng khoảng 8 lần. Sau một quý, họ thấy dashboard chính chỉ được mở hai lần mỗi ngày, vào buổi họp sáng và chiều. Họ quay lại batch chạy mỗi giờ cho phần lớn bảng, giữ streaming cho đúng một luồng phát hiện gian lận, và giảm khoảng 85% chi phí. Bài sau bàn câu hỏi quyết định: độ trễ có tạo ra giá trị không?

Lệnh hay dùng

Lệnh Để làm gì
CREATE OR REPLACE MACRO lo_moi(f) AS TABLE SELECT ... FROM read_csv_auto(f, ...) gói logic xử lý một lô thành hàm dùng lại
MERGE INTO t USING lo_moi('part_0.csv') s ON ... xử lý một micro-batch

Lỗi hay gặp

Học tương tác →