DataOps Peach

Data Foundations · Batch vs streaming · Bài 3/4

Event time vs processing time

Mỗi sự kiện có hai đồng hồ - lúc nó xảy ra và lúc pipeline thấy nó. Logic nghiệp vụ gần như luôn dùng event time; dùng nhầm thì con số phụ thuộc mạng của người dùng và lịch chạy của pipeline.

Học tương tác →

Hai đồng hồ

Event time Processing time
Là gì Lúc sự kiện xảy ra ngoài đời Lúc pipeline xử lý / nạp sự kiện
Cột trong lab order_ts (khách đặt hàng lúc nào) _ingested_at (bronze nạp dòng lúc nào)
Ai quyết định Thế giới thật Lịch chạy, mạng, sự cố của hệ thống

Khoảng cách giữa hai đồng hồ là độ trễ của dữ liệu: mạng chập, app offline rồi đồng bộ sau, nguồn gửi lô theo ngày, pipeline chạy mỗi đêm.

Trong dữ liệu lab

Dùng nhầm thì sao

Tính doanh thu theo _ingested_at: toàn bộ 5100 dòng dồn vào ngày chạy bronze. Biểu đồ doanh thu năm 2025 thành một cột duy nhất cao chót vót vào đúng ngày chạy bronze.

Tính doanh thu tháng 1/2026 theo lô nạp thay vì theo ngày đặt hàng:

Cách tính Doanh thu completed tháng 1/2026
Theo event time (order_ts trong tháng 1) 3,535,126,000
Theo lô nạp (mọi đơn có trong lô tháng 1) 5,278,588,000

Chênh lệch là doanh thu của các đơn đặt năm 2025, chỉ tới pipeline trong tháng 1. Tháng 1 trông như tăng trưởng mạnh, năm 2025 trông như thiếu doanh thu, trong khi khách không làm gì khác cả. Con số theo processing time phụ thuộc vào lúc dữ liệu tới, tức là vào chất lượng mạng và lịch chạy, chứ không vào hành vi của khách.

flowchart LR
  E[order_ts · event time] -->|logic nghiệp vụ| G[doanh thu theo ngày đặt]
  P[_ingested_at · processing time] -->|vận hành| M[độ trễ, độ tươi, debug]

Mỗi đồng hồ một việc

Vì vậy bronze giữ cả hai: order_ts nguyên văn từ nguồn và _ingested_at do pipeline thêm vào (Module 02).

Ví dụ: ứng dụng offline

Ứng dụng giao hàng lưu đơn trong máy khi tài xế mất sóng, đồng bộ khi có mạng lại. Một tài xế ở vùng núi đồng bộ 40 đơn vào sáng hôm sau. Báo cáo theo processing time cho thấy khu vực đó "không có đơn hôm qua, gấp đôi hôm nay"; đội vận hành điều thêm xe vào nhầm ngày.

Lệnh hay dùng

Lệnh Để làm gì
SELECT order_ts::DATE, count(*) ... GROUP BY 1 đếm theo event time
SELECT count(DISTINCT _ingested_at::DATE) FROM bronze_orders xem dữ liệu được nạp trong mấy ngày
SELECT year(order_ts), count(*) FROM stg_typed GROUP BY 1 lô mới chứa sự kiện của thời điểm nào

Lỗi hay gặp

Học tương tác →