DataOps Peach

Lakehouse Engineering · Orchestration và declarative pipeline · Bài 1/4

Từ cron đến Workflows

Cron chạy lệnh theo giờ và chỉ thế. Orchestrator biết phụ thuộc, thử lại, cảnh báo, giữ lịch sử và chạy lại cho ngày cũ. Chọn Databricks Lakeflow Jobs hay Airflow theo việc bạn điều phối.

Học tương tác →

Cron + bash thiếu gì

crontab chạy một lệnh vào một giờ cố định. Với một pipeline nhiều bước, nó thiếu năm thứ:

Thiếu Hậu quả
Phụ thuộc "B chạy lúc 1:30" thay vì "B chạy sau A" - hôm A chậm, B đọc dữ liệu dở
Retry Mạng chập một lần là cả đêm không có dữ liệu
Alert Không ai biết job đã fail cho tới khi sếp hỏi
Lịch sử Không biết lần chạy nào, ai chạy, mất bao lâu, kết quả gì
Backfill Muốn chạy lại cho ngày 15/01 phải sửa script tay

Track 1, Module 05 đã gặp đúng các khái niệm này (DAG, retry, timeout, backfill). Orchestrator là công cụ làm chúng thành cấu hình.

Hai lựa chọn chính

Lakeflow Jobs (Databricks, trước đây là Workflows) Apache Airflow
Định nghĩa DAG JSON / giao diện / Asset Bundles (Track 3) Code Python
Hạ tầng Không phải nuôi, chạy trên compute của Databricks Phải tự vận hành (hoặc dùng bản managed)
Điều phối gì Tốt nhất cho việc trong Databricks Mọi hệ thống: database, API, nhiều cloud

Quy tắc chọn: mọi bước nằm trong Databricks → Lakeflow Jobs. Phải điều phối cả hệ thống bên ngoài (gọi API, chạy dbt ở chỗ khác, chờ file từ đối tác) → Airflow, và Airflow gọi job Databricks như một bước.

Job đầu tiên

Bài đưa bốn notebook lên workspace bằng databricks workspace import-dir, tạo một job một task từ job_v0.json, chạy bằng jobs run-now và xem lịch sử bằng jobs list-runs. Task không khai báo cluster thì chạy trên compute serverless. Mọi lần chạy đều được lưu: thời điểm, thời lượng, kết quả, log của từng task.

Notebook lưu dạng source Python (# Databricks notebook source ở dòng đầu, các cell ngăn bằng # COMMAND ----------), nên đọc được như file text, đưa vào Git và review được (Track 3).

flowchart LR
  L[notebooks/ trên máy] -->|import-dir| W[/Workspace/.../de/]
  J[job_v0.json] -->|jobs create| JOB[job]
  W --> JOB
  JOB -->|run-now| R[run · lịch sử]

Retry chỉ an toàn khi idempotent

Orchestrator làm retry rất dễ: một dòng cấu hình. Nhưng retry một task INSERT cộng dồn là nhân đôi dữ liệu một cách tự động và đáng tin cậy. Mọi notebook của module ghi bằng CREATE OR REPLACE hoặc MERGE theo khoá (Track 1, Module 04), nên retry an toàn.

Ví dụ: 40 job cron

Tình huống giả định, thường gặp: 40 job cron chạy theo giờ cố định. Nguồn tăng gấp đôi, job A từ 30 phút thành 55 phút; job B vẫn chạy lúc 1:30 và đọc bảng A đang ghi dở. Số liệu sai khoảng 8% suốt 3 tuần mà không job nào báo lỗi. Với phụ thuộc "B sau A", B chỉ đơn giản là bắt đầu muộn hơn.

Lệnh hay dùng

Lệnh Để làm gì
databricks workspace import-dir <thư mục> <đường dẫn workspace> --overwrite đưa notebook lên
databricks jobs create --json @job.json tạo job, trả job_id
databricks jobs run-now <job_id> chạy và chờ kết quả
databricks jobs list-runs --job-id <job_id> lịch sử chạy

Lỗi hay gặp

Học tương tác →