Data Foundations · Module 06
Batch vs streaming
Streaming đắt hơn batch về mọi mặt. Học cách quyết định độ trễ theo giá trị nghiệp vụ, và ba bài toán chỉ streaming mới có.
Học xong bạn làm được
- Phân biệt batch, micro-batch và streaming thật
- Dùng câu hỏi "trễ X có ai quyết định khác không" để chọn kiến trúc
- Phân biệt event time và processing time
- Giải thích watermark và delivery semantics
Bài học
- Batch, micro-batch, streaming
Ba cách xử lý dữ liệu theo thời gian - theo lịch, theo lô nhỏ liên tục, và từng bản ghi. Spark Structured Streaming thuộc loại nào, và streaming đắt ở đâu.
- Độ trễ có tạo ra giá trị không
Câu hỏi chọn kiến trúc không phải "streaming có hay không" mà là "nếu dữ liệu trễ X, ai quyết định khác đi?". Đa số câu hỏi kinh doanh không cần real-time; một số thì vô dụng nếu không có.
- Event time vs processing time
Mỗi sự kiện có hai đồng hồ - lúc nó xảy ra và lúc pipeline thấy nó. Logic nghiệp vụ gần như luôn dùng event time; dùng nhầm thì con số phụ thuộc mạng của người dùng và lịch chạy của pipeline.
- Watermark và delivery semantics
Dữ liệu trễ thì đợi tới bao giờ? Watermark là lời hứa về thời gian chờ. Và nguồn gửi một lần, nhiều lần hay đúng một lần - at-least-once cộng MERGE theo khoá cho kết quả exactly-once.