DataOps Peach

Lakehouse Engineering · Orchestration và declarative pipeline · Bài 4/4

Lakeflow Declarative Pipelines

Thay vì viết từng bước và nối chúng thành job, khai báo bảng nào được dựng từ bảng nào và dữ liệu phải thoả gì. Nền tảng suy ra DAG, chạy, và đếm vi phạm. Được gì, mất gì so với Jobs + notebook.

Học tương tác →

Imperative và declarative

@dlt.table
@dlt.expect_or_drop("valid_quantity", "quantity >= 0")
@dlt.expect("price_present", "unit_price IS NOT NULL")
def orders_silver():
    return dlt.read_stream("orders_bronze").select(...)

DAG suy ra từ code: orders_silver gọi dlt.read_stream("orders_bronze"), orders_by_status gọi dlt.read("orders_silver"), nên thứ tự là bronze → silver → gold. Không có file JSON nào khai báo phụ thuộc.

Expectations = flag / drop / fail

Ba loại expectation khớp với chiến lược của Track 1 (bài 2.4: flag, drop, quarantine; bài 5.2: block):

Expectation Vi phạm thì Track 1
@dlt.expect Giữ dòng, đếm vi phạm flag / warn
@dlt.expect_or_drop Bỏ dòng, đếm số bỏ drop
@dlt.expect_or_fail Dừng cả lần cập nhật block

Trong bài (550 dòng của 5 file ở bài 3.4): valid_quantity bỏ 2 dòng quantity âm, silver còn 548; price_present đếm 13 dòng giá không đọc được (NULL sau ép kiểu) nhưng vẫn giữ. expect_or_drop không giữ dòng bị bỏ để xem lại; muốn quarantine như Track 1 thì dựng bảng riêng. Các con số này nằm trong event log của pipeline, và giao diện pipeline vẽ chúng thành biểu đồ chất lượng mà bạn không phải viết.

flowchart LR
  F[incoming/ · 550] --> B[orders_bronze]
  B -->|drop 2 · warn 13| S[orders_silver · 548]
  S --> G[orders_by_status]

Được gì, mất gì

Được Mất
Ít code vận hành (không tự viết checkpoint, thứ tự, retry) Ít quyền kiểm soát từng bước
Quality dashboard và lineage có sẵn Gắn chặt vào nền tảng (lock-in)
Cùng code chạy batch hay streaming Debug khác: lỗi nằm trong một hệ thống bạn không tự viết
Không hợp cho bước phải gọi API ngoài, logic điều khiển phức tạp

Tình huống giả định, thường gặp: một đội có 30 pipeline, mỗi pipeline khoảng 200 dòng code "khung" (đọc, ghi, checkpoint, check). Chuyển sang declarative, tổng còn khoảng 1200 dòng, phần lớn là logic nghiệp vụ. Ba pipeline phải gọi API giữa các bước vẫn ở lại Jobs + notebook. Trộn cả hai là bình thường: một job có thể có task chạy pipeline.

Tên sản phẩm đổi (Delta Live Tables → Lakeflow Spark Declarative Pipelines). Docs mới dùng from pyspark import pipelines as dp (@dp.table, @dp.materialized_view) và đọc bảng bằng spark.read.table / spark.readStream.table; import dlt như bài vẫn chạy. Khái niệm thì bền: khai báo bảng, expectation, DAG suy ra từ phụ thuộc.

Lệnh hay dùng

Lệnh Để làm gì
databricks pipelines create --json @pipeline.json tạo pipeline
databricks pipelines start-update <pipeline_id> chạy một lần cập nhật
databricks pipelines get <pipeline_id> trạng thái, lần cập nhật gần nhất
databricks pipelines list-pipeline-events <pipeline_id> event log: tiến độ, lỗi
SELECT ... FROM event_log('<pipeline_id>') WHERE event_type = 'flow_progress' số dòng vi phạm từng expectation

Lỗi hay gặp

Dọn sau module

Module tạo hai job, một pipeline và schema dlp_demo; danh sách dọn của Module 02 không phủ chúng:

databricks pipelines delete <pipeline_id>
databricks jobs delete <job_id_v0>
databricks jobs delete <job_id_dag>
DROP SCHEMA workspace.dlp_demo CASCADE

Học tương tác →