Imperative và declarative
- Imperative (Jobs + notebook, bài 4.1–4.3): bạn viết làm thế nào - đọc, biến đổi, ghi bảng, rồi nối các task bằng
depends_on. - Declarative (Lakeflow Spark Declarative Pipelines, trước đây là Delta Live Tables): bạn khai báo muốn gì - mỗi hàm trả về một DataFrame là nội dung của một bảng. Nền tảng lo việc ghi, thứ tự chạy, checkpoint, thử lại (thử lại chỉ ở production mode;
pipeline.jsoncủa bài đặtdevelopment: trueđể thử, lỗi là dừng).
@dlt.table
@dlt.expect_or_drop("valid_quantity", "quantity >= 0")
@dlt.expect("price_present", "unit_price IS NOT NULL")
def orders_silver():
return dlt.read_stream("orders_bronze").select(...)
DAG suy ra từ code: orders_silver gọi dlt.read_stream("orders_bronze"), orders_by_status gọi dlt.read("orders_silver"), nên thứ tự là bronze → silver → gold. Không có file JSON nào khai báo phụ thuộc.
Expectations = flag / drop / fail
Ba loại expectation khớp với chiến lược của Track 1 (bài 2.4: flag, drop, quarantine; bài 5.2: block):
| Expectation | Vi phạm thì | Track 1 |
|---|---|---|
@dlt.expect |
Giữ dòng, đếm vi phạm | flag / warn |
@dlt.expect_or_drop |
Bỏ dòng, đếm số bỏ | drop |
@dlt.expect_or_fail |
Dừng cả lần cập nhật | block |
Trong bài (550 dòng của 5 file ở bài 3.4): valid_quantity bỏ 2 dòng quantity âm, silver còn 548; price_present đếm 13 dòng giá không đọc được (NULL sau ép kiểu) nhưng vẫn giữ. expect_or_drop không giữ dòng bị bỏ để xem lại; muốn quarantine như Track 1 thì dựng bảng riêng. Các con số này nằm trong event log của pipeline, và giao diện pipeline vẽ chúng thành biểu đồ chất lượng mà bạn không phải viết.
flowchart LR F[incoming/ · 550] --> B[orders_bronze] B -->|drop 2 · warn 13| S[orders_silver · 548] S --> G[orders_by_status]
Được gì, mất gì
| Được | Mất |
|---|---|
| Ít code vận hành (không tự viết checkpoint, thứ tự, retry) | Ít quyền kiểm soát từng bước |
| Quality dashboard và lineage có sẵn | Gắn chặt vào nền tảng (lock-in) |
| Cùng code chạy batch hay streaming | Debug khác: lỗi nằm trong một hệ thống bạn không tự viết |
| Không hợp cho bước phải gọi API ngoài, logic điều khiển phức tạp |
Tình huống giả định, thường gặp: một đội có 30 pipeline, mỗi pipeline khoảng 200 dòng code "khung" (đọc, ghi, checkpoint, check). Chuyển sang declarative, tổng còn khoảng 1200 dòng, phần lớn là logic nghiệp vụ. Ba pipeline phải gọi API giữa các bước vẫn ở lại Jobs + notebook. Trộn cả hai là bình thường: một job có thể có task chạy pipeline.
Tên sản phẩm đổi (Delta Live Tables → Lakeflow Spark Declarative Pipelines). Docs mới dùng from pyspark import pipelines as dp (@dp.table, @dp.materialized_view) và đọc bảng bằng spark.read.table / spark.readStream.table; import dlt như bài vẫn chạy. Khái niệm thì bền: khai báo bảng, expectation, DAG suy ra từ phụ thuộc.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
databricks pipelines create --json @pipeline.json |
tạo pipeline |
databricks pipelines start-update <pipeline_id> |
chạy một lần cập nhật |
databricks pipelines get <pipeline_id> |
trạng thái, lần cập nhật gần nhất |
databricks pipelines list-pipeline-events <pipeline_id> |
event log: tiến độ, lỗi |
SELECT ... FROM event_log('<pipeline_id>') WHERE event_type = 'flow_progress' |
số dòng vi phạm từng expectation |
Lỗi hay gặp
- Dùng
expect_or_dropcho mọi thứ: dữ liệu biến mất lặng lẽ, chỉ còn con số trong event log. - Ép mọi pipeline vào declarative, kể cả bước gọi API ngoài.
- Không đọc event log: expectation đếm vi phạm nhưng không ai nhìn.
Dọn sau module
Module tạo hai job, một pipeline và schema dlp_demo; danh sách dọn của Module 02 không phủ chúng:
databricks pipelines delete <pipeline_id>
databricks jobs delete <job_id_v0>
databricks jobs delete <job_id_dag>
DROP SCHEMA workspace.dlp_demo CASCADE