DataOps Peach

Data Foundations · Module 06

Batch vs streaming

Streaming đắt hơn batch về mọi mặt. Học cách quyết định độ trễ theo giá trị nghiệp vụ, và ba bài toán chỉ streaming mới có.

Học tương tác →

Học xong bạn làm được

Bài học

  1. Batch, micro-batch, streaming

    Ba cách xử lý dữ liệu theo thời gian - theo lịch, theo lô nhỏ liên tục, và từng bản ghi. Spark Structured Streaming thuộc loại nào, và streaming đắt ở đâu.

  2. Độ trễ có tạo ra giá trị không

    Câu hỏi chọn kiến trúc không phải "streaming có hay không" mà là "nếu dữ liệu trễ X, ai quyết định khác đi?". Đa số câu hỏi kinh doanh không cần real-time; một số thì vô dụng nếu không có.

  3. Event time vs processing time

    Mỗi sự kiện có hai đồng hồ - lúc nó xảy ra và lúc pipeline thấy nó. Logic nghiệp vụ gần như luôn dùng event time; dùng nhầm thì con số phụ thuộc mạng của người dùng và lịch chạy của pipeline.

  4. Watermark và delivery semantics

    Dữ liệu trễ thì đợi tới bao giờ? Watermark là lời hứa về thời gian chờ. Và nguồn gửi một lần, nhiều lần hay đúng một lần - at-least-once cộng MERGE theo khoá cho kết quả exactly-once.