Orchestration làm gì
Pipeline thật có nhiều task: nạp dữ liệu, làm sạch, dựng star schema, kiểm tra, dựng gold. Orchestrator (Airflow, Databricks Lakeflow Jobs (trước đây là Workflows), Dagster…) trả lời bốn câu: task nào chạy, sau task nào, fail thì làm gì, và chạy lại cho ngày nào.
Điểm mấu chốt: "B chạy sau A" khác hẳn "B chạy lúc 1:30". Lịch giờ cố định đoán rằng A luôn xong trước 1:30; hôm nào A chậm, B đọc dữ liệu nửa cũ nửa mới mà không ai biết. Phụ thuộc thì B chỉ chạy khi A thật sự xong và thành công.
DAG
Pipeline được vẽ thành DAG (Directed Acyclic Graph): mỗi node là một task, mỗi cạnh là "phải xong trước", và không có vòng (A cần B, B lại cần A thì không chạy được).
flowchart LR IO[ingest_orders] --> S[build_silver] II[ingest_incremental] --> S IC[ingest_customers] --> S IP[ingest_products] --> S S --> ST[build_star] DD[dim_date] --> ST ST --> CK[checks] CK --> G1[gold_daily_revenue] CK --> G2[gold_cancel_rate] CK --> G3[gold_customer_360]
- Song song được: bốn task ingest không phụ thuộc nhau;
dim_datekhông cần dữ liệu nào; ba bảng gold chỉ cần check PASS. Orchestrator chạy chúng cùng lúc. - Critical path (đường găng): chuỗi phụ thuộc có tổng thời gian chạy dài nhất, quyết định pipeline xong sớm nhất lúc nào. Ở đây: ingest_orders → build_silver → build_star → checks → gold, vì
ingest_ordersđọc file lớn nhất (5100 dòng) so với ba task ingest kia. Muốn pipeline nhanh hơn thì tối ưu task trên đường này; tăng tốcdim_datekhông giúp gì.
Trong bài, năm file SQL là năm task, chạy lần lượt bằng duckdb de_lab.duckdb -f <file>. Một file DuckDB chỉ cho một tiến trình ghi tại một thời điểm, nên dù tách bốn câu ingest ra bốn file cũng phải chạy lần lượt; bài gộp chúng vào một file cho gọn. Với warehouse thật (Databricks, Track 2) chúng là bốn task song song.
Retry, timeout, alert, backfill
| Cơ chế | Làm gì | Điều kiện |
|---|---|---|
| Retry | Thử lại task fail (mạng chập, máy bận) sau một khoảng chờ | Chỉ an toàn khi task idempotent (Module 04) |
| Timeout | Giết task chạy quá lâu | Đặt theo thời gian chạy thường lệ, ví dụ gấp 3 |
| Alert | Báo người khi task fail hết số lần retry, hoặc check warn | Đến đúng người, đúng kênh |
| Backfill | Chạy lại DAG cho ngày quá khứ | Task nhận processing_date làm tham số |
Năm file của bài đều idempotent: CREATE OR REPLACE mọi bảng, tính lại từ file thô. Chạy cả DAG trên dữ liệu sau Module 04 cho đúng các con số đã có: 5372 đơn, 70,538,094,000, gold 1584 dòng, lệch 0. Vì vậy retry hay chạy lại cả DAG đều an toàn.
Một task DELETE rồi INSERT ngoài transaction thì khác: retry sau khi task chết giữa hai câu vẫn ra đúng, nhưng trong lúc chờ retry bảng thiếu dữ liệu; còn task INSERT cộng dồn thì retry làm nhân đôi.
Cạnh check → gold
duckdb de_lab.duckdb -f 04_checks.sql && duckdb de_lab.duckdb -f 05_gold.sql
&& chỉ chạy lệnh sau khi lệnh trước trả exit code 0. Cổng của 04_checks.sql gọi error() khi check chặn fail, nên gold không bị ghi. Orchestrator làm đúng việc này với cạnh của DAG: task sau chỉ chạy khi task trước thành công.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
duckdb de_lab.duckdb -f 01_ingest.sql |
chạy một task (một file SQL) |
lệnh_A && lệnh_B |
B chỉ chạy khi A thành công |
echo $? |
xem exit code của lệnh vừa chạy (0 là thành công) |
Lỗi hay gặp
- Xếp lịch theo giờ thay vì phụ thuộc: task sau đọc dữ liệu dở dang.
- Bật retry cho task không idempotent.
- Không đặt timeout: một task treo giữ cả DAG tới sáng.
- Tối ưu task không nằm trên critical path rồi thắc mắc vì sao pipeline không nhanh hơn.