Sáu task, một DAG
job_dag.json:
flowchart LR BO[bronze_orders] --> S[silver] BC[bronze_customers] --> S BP[bronze_products] --> S S --> C[checks] --> G[gold]
- Ba task bronze không phụ thuộc nhau nên chạy song song (cùng một notebook
bronze, tham sốsourcekhác nhau). depends_onvẽ cạnh của DAG: silver chờ cả ba bronze, checks chờ silver, gold chờ checks.
Tham số processing_date
"parameters": [{"name": "processing_date", "default": "2026-02-01"}]
Job parameter được đẩy xuống mọi task; notebook đọc bằng dbutils.widgets.get("processing_date"). Gold tính doanh thu tới ngày đó, không dùng current_date() (Track 1, Module 04). Hệ quả:
- Chạy lại cùng ngày: cùng kết quả (396 ngày có đơn completed tới 2026-02-01).
- Backfill = chạy job với ngày khác: tới 2026-01-15 ra 380 ngày, doanh thu 49,947,134,000. Không sửa code.
Truyền dữ liệu giữa task bằng task values được, nhưng nên hạn chế: dữ liệu thật đi qua bảng; task values chỉ cho vài giá trị nhỏ (một con số, một cờ).
Retry, timeout, alert
| Cấu hình | Trong bài | Để làm gì |
|---|---|---|
max_retries, min_retry_interval_millis |
2 lần, cách 1 phút (checks: 0) | Vượt qua lỗi tạm thời (mạng, compute khởi động chậm) |
timeout_seconds |
30 phút mỗi task, 1 giờ cả job | Không để một task treo giữ cả DAG tới sáng. Task bị timeout không được retry, trừ khi bật retry_on_timeout |
email_notifications.on_failure |
email của bạn | Người trực biết ngay khi fail hết số lần thử |
health + on_duration_warning_threshold_exceeded |
cảnh báo khi chạy quá 30 phút | Job chậm dần là dấu hiệu sớm, trước khi nó fail |
Task checks không retry: dữ liệu sai thì thử lại vẫn sai.
Job cluster / serverless thay vì all-purpose cluster: compute riêng cho job, tắt khi xong, rẻ hơn nhiều so với chạy job trên cluster dùng chung đang bật cả ngày (Track 3, chi phí).
Orchestrator không sửa được pipeline tồi
Tình huống giả định: một task ghi bằng INSERT INTO cộng dồn, bật retry 2 lần. Một đêm task ghi xong rồi mới lỗi (exception) ở bước cuối; orchestrator retry đúng như cấu hình. Kết quả: dữ liệu nhân ba, một cách tự động và đáng tin cậy. Orchestrator làm đúng việc nó được bảo; idempotency là việc của pipeline.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
databricks jobs create --json @job_dag.json |
tạo job nhiều task |
databricks jobs run-now --json '{"job_id": ..., "job_parameters": {"processing_date": "..."}}' |
chạy với tham số |
databricks jobs get-run <run_id> |
trạng thái từng task |
databricks jobs reset --json @<file có job_id và new_settings> |
thay toàn bộ cấu hình job |
Lỗi hay gặp
current_date()trong notebook: không backfill được.- Retry task kiểm tra dữ liệu.
- Không đặt timeout: một task treo giữ cả DAG.
- Truyền bảng dữ liệu qua task values thay vì qua bảng.