DataOps Peach

Lakehouse Engineering · Orchestration và declarative pipeline · Bài 3/4

Quality gate trong DAG

Vị trí của task kiểm tra là quyết định thiết kế quan trọng nhất của một DAG. Check chặn raise exception, task phía sau không chạy, bảng gold giữ bản cũ - và một DAG chưa từng fail là chưa biết nó cư xử thế nào lúc 3 giờ sáng.

Học tương tác →

Đặt check ở đâu

Trong job_dag.json, task checks đứng giữa silver và gold:

flowchart LR
  B[3 bronze] --> S[silver] --> C{checks}
  C -->|PASS| G[gold]
  C -->|FAIL| X[gold UPSTREAM_FAILED · giữ bản cũ]

Check chặn hoạt động thế nào

checks.py tính một bảng check (như v_checks của Track 1) rồi:

failed = [r.check_name for r in checks.collect() if r.muc == "block" and r.so_loi > 0]
if failed:
    raise Exception("check chặn FAIL: " + ", ".join(failed))

Exception làm task FAILED; mọi task phụ thuộc vào nó nhận trạng thái UPSTREAM_FAILED và không chạy. Check mức warn chỉ hiện trong bảng kết quả, không chặn (block vs warn: Track 1, bài 5.2).

Trạng thái Nghĩa
FAILED Task chạy và lỗi (ở đây: check chặn fail)
UPSTREAM_FAILED Task không chạy vì task nó phụ thuộc đã fail
SUCCESS Task chạy xong

Diễn tập trong bài

  1. Đặt vào volume một file nguồn có một đơn giá 9,999,999,999 VND. Silver đọc được giá đó (định dạng đúng), nên không bị coi là lỗi định dạng.
  2. Chạy job: bronze, silver xanh; check price_under_1_billion fail; gold UPSTREAM_FAILED, bảng gold giữ bản của lần chạy tốt trước (bản backfill 2026-01-15 của bài 4.2: 380 ngày); email on_failure được gửi.
  3. Bỏ file xấu ở nguồn, chạy lại cả job: xanh, silver 5372 đơn, gold 396 ngày.

Vì sao chạy lại cả job mà không repair-run? jobs repair-run --rerun-all-failed-tasks chỉ chạy lại task fail và task phía sau (checks, gold). Silver đã chứa dòng xấu từ lần chạy trước, nên checks sẽ fail lần nữa. Repair hợp với lỗi tạm thời (mạng, compute); lỗi dữ liệu thì sửa nguồn rồi chạy lại từ đầu, và pipeline idempotent làm việc đó an toàn.

DAG chưa từng fail

Một quality gate chưa từng fail là một quality gate chưa được kiểm chứng: có thể nó đúng, có thể nó luôn PASS vì viết sai, có thể task phía sau không thật sự phụ thuộc vào nó. Diễn tập trên môi trường thử, có chủ đích, trước khi sự cố thật xảy ra lúc 3 giờ sáng.

Ví dụ: doanh thu âm

Tình huống giả định: một hệ thống nguồn bắt đầu gửi đơn trả hàng với doanh thu âm. Pipeline không có gate: dashboard doanh thu ngày hôm đó giảm 30%, ban giám đốc họp khẩn. Pipeline có gate no_negative_revenue mức block: job fail lúc 2 giờ sáng, người trực nhận email, dashboard vẫn hiện số của hôm trước, và vấn đề được xử lý trước giờ làm.

Lệnh hay dùng

Lệnh Để làm gì
raise Exception(...) trong notebook làm task fail khi check chặn fail
databricks jobs get-run <run_id> xem task nào FAILED, UPSTREAM_FAILED
databricks jobs repair-run <run_id> --rerun-all-failed-tasks chạy lại task fail sau lỗi tạm thời
databricks fs rm dbfs:/Volumes/... bỏ file xấu khỏi nguồn

Lỗi hay gặp

Học tương tác →