DataOps Peach

Data Foundations · Data quality và orchestration · Bài 3/4

DAG, retry, timeout, backfill

Orchestration quyết định task nào chạy khi nào, theo thứ tự nào, và fail thì làm gì. Vẽ pipeline thành DAG, tìm task chạy song song và critical path, rồi chạy nó bằng năm file SQL.

Học tương tác →

Orchestration làm gì

Pipeline thật có nhiều task: nạp dữ liệu, làm sạch, dựng star schema, kiểm tra, dựng gold. Orchestrator (Airflow, Databricks Lakeflow Jobs (trước đây là Workflows), Dagster…) trả lời bốn câu: task nào chạy, sau task nào, fail thì làm gì, và chạy lại cho ngày nào.

Điểm mấu chốt: "B chạy sau A" khác hẳn "B chạy lúc 1:30". Lịch giờ cố định đoán rằng A luôn xong trước 1:30; hôm nào A chậm, B đọc dữ liệu nửa cũ nửa mới mà không ai biết. Phụ thuộc thì B chỉ chạy khi A thật sự xong và thành công.

DAG

Pipeline được vẽ thành DAG (Directed Acyclic Graph): mỗi node là một task, mỗi cạnh là "phải xong trước", và không có vòng (A cần B, B lại cần A thì không chạy được).

flowchart LR
  IO[ingest_orders] --> S[build_silver]
  II[ingest_incremental] --> S
  IC[ingest_customers] --> S
  IP[ingest_products] --> S
  S --> ST[build_star]
  DD[dim_date] --> ST
  ST --> CK[checks]
  CK --> G1[gold_daily_revenue]
  CK --> G2[gold_cancel_rate]
  CK --> G3[gold_customer_360]

Trong bài, năm file SQL là năm task, chạy lần lượt bằng duckdb de_lab.duckdb -f <file>. Một file DuckDB chỉ cho một tiến trình ghi tại một thời điểm, nên dù tách bốn câu ingest ra bốn file cũng phải chạy lần lượt; bài gộp chúng vào một file cho gọn. Với warehouse thật (Databricks, Track 2) chúng là bốn task song song.

Retry, timeout, alert, backfill

Cơ chế Làm gì Điều kiện
Retry Thử lại task fail (mạng chập, máy bận) sau một khoảng chờ Chỉ an toàn khi task idempotent (Module 04)
Timeout Giết task chạy quá lâu Đặt theo thời gian chạy thường lệ, ví dụ gấp 3
Alert Báo người khi task fail hết số lần retry, hoặc check warn Đến đúng người, đúng kênh
Backfill Chạy lại DAG cho ngày quá khứ Task nhận processing_date làm tham số

Năm file của bài đều idempotent: CREATE OR REPLACE mọi bảng, tính lại từ file thô. Chạy cả DAG trên dữ liệu sau Module 04 cho đúng các con số đã có: 5372 đơn, 70,538,094,000, gold 1584 dòng, lệch 0. Vì vậy retry hay chạy lại cả DAG đều an toàn.

Một task DELETE rồi INSERT ngoài transaction thì khác: retry sau khi task chết giữa hai câu vẫn ra đúng, nhưng trong lúc chờ retry bảng thiếu dữ liệu; còn task INSERT cộng dồn thì retry làm nhân đôi.

Cạnh check → gold

duckdb de_lab.duckdb -f 04_checks.sql && duckdb de_lab.duckdb -f 05_gold.sql

&& chỉ chạy lệnh sau khi lệnh trước trả exit code 0. Cổng của 04_checks.sql gọi error() khi check chặn fail, nên gold không bị ghi. Orchestrator làm đúng việc này với cạnh của DAG: task sau chỉ chạy khi task trước thành công.

Lệnh hay dùng

Lệnh Để làm gì
duckdb de_lab.duckdb -f 01_ingest.sql chạy một task (một file SQL)
lệnh_A && lệnh_B B chỉ chạy khi A thành công
echo $? xem exit code của lệnh vừa chạy (0 là thành công)

Lỗi hay gặp

Học tương tác →