Lakehouse Engineering · Module 04
Orchestration và declarative pipeline
Biến một đống notebook thành hệ thống: job có phụ thuộc, tham số, retry, alert và quality gate; rồi so với pipeline khai báo (Lakeflow) có expectations.
Học xong bạn làm được
- Giải thích vì sao "B chạy sau A" khác "B chạy lúc 1:30"
- Dựng job nhiều task với processing_date, retry, timeout, alert
- Đặt quality gate chặn gold khi dữ liệu sai
- So sánh pipeline imperative với Lakeflow Declarative Pipelines
Bài học
- Từ cron đến Workflows
Cron chạy lệnh theo giờ và chỉ thế. Orchestrator biết phụ thuộc, thử lại, cảnh báo, giữ lịch sử và chạy lại cho ngày cũ. Chọn Databricks Lakeflow Jobs hay Airflow theo việc bạn điều phối.
- Job: tham số, retry, timeout, alert
Tách pipeline thành task có phụ thuộc, truyền processing_date làm tham số, cấu hình retry, timeout và cảnh báo - và hiểu rằng orchestrator không sửa được pipeline tồi, chỉ tự động hoá hậu quả.
- Quality gate trong DAG
Vị trí của task kiểm tra là quyết định thiết kế quan trọng nhất của một DAG. Check chặn raise exception, task phía sau không chạy, bảng gold giữ bản cũ - và một DAG chưa từng fail là chưa biết nó cư xử thế nào lúc 3 giờ sáng.
- Lakeflow Declarative Pipelines
Thay vì viết từng bước và nối chúng thành job, khai báo bảng nào được dựng từ bảng nào và dữ liệu phải thoả gì. Nền tảng suy ra DAG, chạy, và đếm vi phạm. Được gì, mất gì so với Jobs + notebook.