DataOps Peach

Lakehouse Engineering · Orchestration và declarative pipeline · Bài 2/4

Job: tham số, retry, timeout, alert

Tách pipeline thành task có phụ thuộc, truyền processing_date làm tham số, cấu hình retry, timeout và cảnh báo - và hiểu rằng orchestrator không sửa được pipeline tồi, chỉ tự động hoá hậu quả.

Học tương tác →

Sáu task, một DAG

job_dag.json:

flowchart LR
  BO[bronze_orders] --> S[silver]
  BC[bronze_customers] --> S
  BP[bronze_products] --> S
  S --> C[checks] --> G[gold]

Tham số processing_date

"parameters": [{"name": "processing_date", "default": "2026-02-01"}]

Job parameter được đẩy xuống mọi task; notebook đọc bằng dbutils.widgets.get("processing_date"). Gold tính doanh thu tới ngày đó, không dùng current_date() (Track 1, Module 04). Hệ quả:

Truyền dữ liệu giữa task bằng task values được, nhưng nên hạn chế: dữ liệu thật đi qua bảng; task values chỉ cho vài giá trị nhỏ (một con số, một cờ).

Retry, timeout, alert

Cấu hình Trong bài Để làm gì
max_retries, min_retry_interval_millis 2 lần, cách 1 phút (checks: 0) Vượt qua lỗi tạm thời (mạng, compute khởi động chậm)
timeout_seconds 30 phút mỗi task, 1 giờ cả job Không để một task treo giữ cả DAG tới sáng. Task bị timeout không được retry, trừ khi bật retry_on_timeout
email_notifications.on_failure email của bạn Người trực biết ngay khi fail hết số lần thử
health + on_duration_warning_threshold_exceeded cảnh báo khi chạy quá 30 phút Job chậm dần là dấu hiệu sớm, trước khi nó fail

Task checks không retry: dữ liệu sai thì thử lại vẫn sai.

Job cluster / serverless thay vì all-purpose cluster: compute riêng cho job, tắt khi xong, rẻ hơn nhiều so với chạy job trên cluster dùng chung đang bật cả ngày (Track 3, chi phí).

Orchestrator không sửa được pipeline tồi

Tình huống giả định: một task ghi bằng INSERT INTO cộng dồn, bật retry 2 lần. Một đêm task ghi xong rồi mới lỗi (exception) ở bước cuối; orchestrator retry đúng như cấu hình. Kết quả: dữ liệu nhân ba, một cách tự động và đáng tin cậy. Orchestrator làm đúng việc nó được bảo; idempotency là việc của pipeline.

Lệnh hay dùng

Lệnh Để làm gì
databricks jobs create --json @job_dag.json tạo job nhiều task
databricks jobs run-now --json '{"job_id": ..., "job_parameters": {"processing_date": "..."}}' chạy với tham số
databricks jobs get-run <run_id> trạng thái từng task
databricks jobs reset --json @<file có job_id và new_settings> thay toàn bộ cấu hình job

Lỗi hay gặp

Học tương tác →