Cron + bash thiếu gì
crontab chạy một lệnh vào một giờ cố định. Với một pipeline nhiều bước, nó thiếu năm thứ:
| Thiếu | Hậu quả |
|---|---|
| Phụ thuộc | "B chạy lúc 1:30" thay vì "B chạy sau A" - hôm A chậm, B đọc dữ liệu dở |
| Retry | Mạng chập một lần là cả đêm không có dữ liệu |
| Alert | Không ai biết job đã fail cho tới khi sếp hỏi |
| Lịch sử | Không biết lần chạy nào, ai chạy, mất bao lâu, kết quả gì |
| Backfill | Muốn chạy lại cho ngày 15/01 phải sửa script tay |
Track 1, Module 05 đã gặp đúng các khái niệm này (DAG, retry, timeout, backfill). Orchestrator là công cụ làm chúng thành cấu hình.
Hai lựa chọn chính
| Lakeflow Jobs (Databricks, trước đây là Workflows) | Apache Airflow | |
|---|---|---|
| Định nghĩa DAG | JSON / giao diện / Asset Bundles (Track 3) | Code Python |
| Hạ tầng | Không phải nuôi, chạy trên compute của Databricks | Phải tự vận hành (hoặc dùng bản managed) |
| Điều phối gì | Tốt nhất cho việc trong Databricks | Mọi hệ thống: database, API, nhiều cloud |
Quy tắc chọn: mọi bước nằm trong Databricks → Lakeflow Jobs. Phải điều phối cả hệ thống bên ngoài (gọi API, chạy dbt ở chỗ khác, chờ file từ đối tác) → Airflow, và Airflow gọi job Databricks như một bước.
Job đầu tiên
Bài đưa bốn notebook lên workspace bằng databricks workspace import-dir, tạo một job một task từ job_v0.json, chạy bằng jobs run-now và xem lịch sử bằng jobs list-runs. Task không khai báo cluster thì chạy trên compute serverless. Mọi lần chạy đều được lưu: thời điểm, thời lượng, kết quả, log của từng task.
Notebook lưu dạng source Python (# Databricks notebook source ở dòng đầu, các cell ngăn bằng # COMMAND ----------), nên đọc được như file text, đưa vào Git và review được (Track 3).
flowchart LR L[notebooks/ trên máy] -->|import-dir| W[/Workspace/.../de/] J[job_v0.json] -->|jobs create| JOB[job] W --> JOB JOB -->|run-now| R[run · lịch sử]
Retry chỉ an toàn khi idempotent
Orchestrator làm retry rất dễ: một dòng cấu hình. Nhưng retry một task INSERT cộng dồn là nhân đôi dữ liệu một cách tự động và đáng tin cậy. Mọi notebook của module ghi bằng CREATE OR REPLACE hoặc MERGE theo khoá (Track 1, Module 04), nên retry an toàn.
Ví dụ: 40 job cron
Tình huống giả định, thường gặp: 40 job cron chạy theo giờ cố định. Nguồn tăng gấp đôi, job A từ 30 phút thành 55 phút; job B vẫn chạy lúc 1:30 và đọc bảng A đang ghi dở. Số liệu sai khoảng 8% suốt 3 tuần mà không job nào báo lỗi. Với phụ thuộc "B sau A", B chỉ đơn giản là bắt đầu muộn hơn.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
databricks workspace import-dir <thư mục> <đường dẫn workspace> --overwrite |
đưa notebook lên |
databricks jobs create --json @job.json |
tạo job, trả job_id |
databricks jobs run-now <job_id> |
chạy và chờ kết quả |
databricks jobs list-runs --job-id <job_id> |
lịch sử chạy |
Lỗi hay gặp
- Xếp lịch theo giờ thay vì phụ thuộc.
- Bật retry cho task không idempotent.
- Nuôi Airflow chỉ để chạy vài notebook Databricks.
- Để notebook chỉ nằm trên workspace, không có bản trong Git.