DataOps Peach

Lakehouse Engineering · Module 04

Orchestration và declarative pipeline

Biến một đống notebook thành hệ thống: job có phụ thuộc, tham số, retry, alert và quality gate; rồi so với pipeline khai báo (Lakeflow) có expectations.

Học tương tác →

Học xong bạn làm được

Bài học

  1. Từ cron đến Workflows

    Cron chạy lệnh theo giờ và chỉ thế. Orchestrator biết phụ thuộc, thử lại, cảnh báo, giữ lịch sử và chạy lại cho ngày cũ. Chọn Databricks Lakeflow Jobs hay Airflow theo việc bạn điều phối.

  2. Job: tham số, retry, timeout, alert

    Tách pipeline thành task có phụ thuộc, truyền processing_date làm tham số, cấu hình retry, timeout và cảnh báo - và hiểu rằng orchestrator không sửa được pipeline tồi, chỉ tự động hoá hậu quả.

  3. Quality gate trong DAG

    Vị trí của task kiểm tra là quyết định thiết kế quan trọng nhất của một DAG. Check chặn raise exception, task phía sau không chạy, bảng gold giữ bản cũ - và một DAG chưa từng fail là chưa biết nó cư xử thế nào lúc 3 giờ sáng.

  4. Lakeflow Declarative Pipelines

    Thay vì viết từng bước và nối chúng thành job, khai báo bảng nào được dựng từ bảng nào và dữ liệu phải thoả gì. Nền tảng suy ra DAG, chạy, và đếm vi phạm. Được gì, mất gì so với Jobs + notebook.