Hai đồng hồ
| Event time | Processing time | |
|---|---|---|
| Là gì | Lúc sự kiện xảy ra ngoài đời | Lúc pipeline xử lý / nạp sự kiện |
| Cột trong lab | order_ts (khách đặt hàng lúc nào) |
_ingested_at (bronze nạp dòng lúc nào) |
| Ai quyết định | Thế giới thật | Lịch chạy, mạng, sự cố của hệ thống |
Khoảng cách giữa hai đồng hồ là độ trễ của dữ liệu: mạng chập, app offline rồi đồng bộ sau, nguồn gửi lô theo ngày, pipeline chạy mỗi đêm.
Trong dữ liệu lab
- Theo event time, đơn trải trên 396 ngày (cả năm 2025 và tháng 1/2026), mỗi ngày 4–26 đơn.
- Theo processing time, cả 5100 dòng của
bronze_ordersrơi vào đúng một ngày: ngày bạn chạy01_ingest.sql. - Lô
raw_orders_incremental.csvcủa tháng 1/2026 mang 150 sự kiện của năm 2025: các đơn pending cũ, nay mới có trạng thái cuối. Dữ liệu đến muộn so với lúc sự kiện xảy ra là chuyện bình thường, không phải lỗi.
Dùng nhầm thì sao
Tính doanh thu theo _ingested_at: toàn bộ 5100 dòng dồn vào ngày chạy bronze. Biểu đồ doanh thu năm 2025 thành một cột duy nhất cao chót vót vào đúng ngày chạy bronze.
Tính doanh thu tháng 1/2026 theo lô nạp thay vì theo ngày đặt hàng:
| Cách tính | Doanh thu completed tháng 1/2026 |
|---|---|
Theo event time (order_ts trong tháng 1) |
3,535,126,000 |
| Theo lô nạp (mọi đơn có trong lô tháng 1) | 5,278,588,000 |
Chênh lệch là doanh thu của các đơn đặt năm 2025, chỉ tới pipeline trong tháng 1. Tháng 1 trông như tăng trưởng mạnh, năm 2025 trông như thiếu doanh thu, trong khi khách không làm gì khác cả. Con số theo processing time phụ thuộc vào lúc dữ liệu tới, tức là vào chất lượng mạng và lịch chạy, chứ không vào hành vi của khách.
flowchart LR E[order_ts · event time] -->|logic nghiệp vụ| G[doanh thu theo ngày đặt] P[_ingested_at · processing time] -->|vận hành| M[độ trễ, độ tươi, debug]
Mỗi đồng hồ một việc
- Event time cho mọi câu hỏi nghiệp vụ: doanh thu theo ngày, khách mua lần cuối khi nào, đơn nào đặt trong khuyến mãi.
- Processing time cho vận hành: dữ liệu mới nhất tới lúc nào (freshness, Module 05), lô nào nạp dòng này (debug), độ trễ của pipeline.
Vì vậy bronze giữ cả hai: order_ts nguyên văn từ nguồn và _ingested_at do pipeline thêm vào (Module 02).
Ví dụ: ứng dụng offline
Ứng dụng giao hàng lưu đơn trong máy khi tài xế mất sóng, đồng bộ khi có mạng lại. Một tài xế ở vùng núi đồng bộ 40 đơn vào sáng hôm sau. Báo cáo theo processing time cho thấy khu vực đó "không có đơn hôm qua, gấp đôi hôm nay"; đội vận hành điều thêm xe vào nhầm ngày.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
SELECT order_ts::DATE, count(*) ... GROUP BY 1 |
đếm theo event time |
SELECT count(DISTINCT _ingested_at::DATE) FROM bronze_orders |
xem dữ liệu được nạp trong mấy ngày |
SELECT year(order_ts), count(*) FROM stg_typed GROUP BY 1 |
lô mới chứa sự kiện của thời điểm nào |
Lỗi hay gặp
- Group by
_ingested_atcho báo cáo nghiệp vụ. - Cho rằng mọi sự kiện trong lô hôm nay đều xảy ra hôm nay.
- Bỏ
_ingested_atvì "đã có order_ts": mất khả năng đo độ trễ và debug.