Đặt check ở đâu
Trong job_dag.json, task checks đứng giữa silver và gold:
flowchart LR
B[3 bronze] --> S[silver] --> C{checks}
C -->|PASS| G[gold]
C -->|FAIL| X[gold UPSTREAM_FAILED · giữ bản cũ]
- Đặt sau gold: gold đã bị ghi đè bằng số sai trước khi check kịp nói gì.
- Đặt trước silver: chỉ kiểm được dữ liệu thô, không kiểm được kết quả của logic làm sạch.
- Đặt giữa silver và gold: kiểm dữ liệu đã làm sạch, trước khi nó tới người dùng. Track 1, bài 5.4 gọi đây là "check trước khi ghi".
Check chặn hoạt động thế nào
checks.py tính một bảng check (như v_checks của Track 1) rồi:
failed = [r.check_name for r in checks.collect() if r.muc == "block" and r.so_loi > 0]
if failed:
raise Exception("check chặn FAIL: " + ", ".join(failed))
Exception làm task FAILED; mọi task phụ thuộc vào nó nhận trạng thái UPSTREAM_FAILED và không chạy. Check mức warn chỉ hiện trong bảng kết quả, không chặn (block vs warn: Track 1, bài 5.2).
| Trạng thái | Nghĩa |
|---|---|
FAILED |
Task chạy và lỗi (ở đây: check chặn fail) |
UPSTREAM_FAILED |
Task không chạy vì task nó phụ thuộc đã fail |
SUCCESS |
Task chạy xong |
Diễn tập trong bài
- Đặt vào volume một file nguồn có một đơn giá 9,999,999,999 VND. Silver đọc được giá đó (định dạng đúng), nên không bị coi là lỗi định dạng.
- Chạy job: bronze, silver xanh; check
price_under_1_billionfail; gold UPSTREAM_FAILED, bảng gold giữ bản của lần chạy tốt trước (bản backfill 2026-01-15 của bài 4.2: 380 ngày); emailon_failuređược gửi. - Bỏ file xấu ở nguồn, chạy lại cả job: xanh, silver 5372 đơn, gold 396 ngày.
Vì sao chạy lại cả job mà không repair-run? jobs repair-run --rerun-all-failed-tasks chỉ chạy lại task fail và task phía sau (checks, gold). Silver đã chứa dòng xấu từ lần chạy trước, nên checks sẽ fail lần nữa. Repair hợp với lỗi tạm thời (mạng, compute); lỗi dữ liệu thì sửa nguồn rồi chạy lại từ đầu, và pipeline idempotent làm việc đó an toàn.
DAG chưa từng fail
Một quality gate chưa từng fail là một quality gate chưa được kiểm chứng: có thể nó đúng, có thể nó luôn PASS vì viết sai, có thể task phía sau không thật sự phụ thuộc vào nó. Diễn tập trên môi trường thử, có chủ đích, trước khi sự cố thật xảy ra lúc 3 giờ sáng.
Ví dụ: doanh thu âm
Tình huống giả định: một hệ thống nguồn bắt đầu gửi đơn trả hàng với doanh thu âm. Pipeline không có gate: dashboard doanh thu ngày hôm đó giảm 30%, ban giám đốc họp khẩn. Pipeline có gate no_negative_revenue mức block: job fail lúc 2 giờ sáng, người trực nhận email, dashboard vẫn hiện số của hôm trước, và vấn đề được xử lý trước giờ làm.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
raise Exception(...) trong notebook |
làm task fail khi check chặn fail |
databricks jobs get-run <run_id> |
xem task nào FAILED, UPSTREAM_FAILED |
databricks jobs repair-run <run_id> --rerun-all-failed-tasks |
chạy lại task fail sau lỗi tạm thời |
databricks fs rm dbfs:/Volumes/... |
bỏ file xấu khỏi nguồn |
Lỗi hay gặp
- Check đặt sau gold.
- Check chỉ in cảnh báo, không raise: task vẫn SUCCESS, gold vẫn chạy.
- Sửa tay bảng silver thay vì sửa nguồn rồi chạy lại.
- Repair-run sau lỗi dữ liệu rồi thắc mắc vì sao vẫn fail.