Lineage là gì
Lineage (dòng dõi dữ liệu) là đồ thị ghi lại bảng nào được tạo từ bảng nào. Unity Catalog ghi lineage tự động mỗi khi truy vấn, job hay pipeline đọc bảng này và ghi bảng kia, chi tiết tới từng cột.
flowchart LR V[CSV trong volume] --> BO[bronze.orders] --> SO[silver.orders] --> G[gold.daily_revenue] V --> BC[bronze.customers] --> SC[silver.customers]
Xem ở tab Lineage của bảng trong Catalog Explorer, hoặc truy vấn bảng hệ thống system.access.table_lineage (mỗi dòng là một cặp nguồn, đích). Bảng hệ thống giữ khoảng một năm gần nhất và có thể trễ vài phút.
Bốn việc lineage làm được
| Việc | Câu hỏi |
|---|---|
| Phân tích tác động | Đổi tên cột unit_price ở silver thì bảng, dashboard nào vỡ? (đi xuôi) |
| Debug | Số ở gold.daily_revenue sai: nó tính từ đâu? (đi ngược) |
| Dọn dẹp | Bảng này còn ai đọc không, xoá được chưa? |
| Tuân thủ | Dữ liệu của khách này đang nằm ở những bảng nào? |
Không có lineage, truy một con số gold ngược về file gốc là đọc code từng job, mất hàng tuần; có lineage, đó là một truy vấn. Lineage chỉ biết những gì đi qua Unity Catalog: file tải về máy hay bảng xuất sang hệ thống khác nằm ngoài đồ thị.
Yêu cầu xoá dữ liệu
Luật bảo vệ dữ liệu cá nhân (GDPR ở châu Âu và quy định tương tự ở nhiều nước) cho khách quyền yêu cầu xoá dữ liệu của mình. Medallion cố ý giữ dữ liệu ở nhiều tầng nên việc này khó. Trình tự:
- Liệt kê mọi nơi chứa khách. Lineage đi xuôi từ nguồn, cộng với tìm theo tên cột (
information_schema.columns). - Xoá hoặc ẩn danh từ nguồn về đích. Chỉ xoá ở silver thì lần chạy sau pipeline dựng lại silver từ bronze và khách xuất hiện trở lại.
- Giữ báo cáo lịch sử bằng ẩn danh hoá. Xoá 14 đơn của khách thì doanh thu các tháng cũ đổi. Thay
customer_idbằng một giá trị vô danh: đơn và doanh thu còn nguyên, không còn nối được về một người (miễn là các cột còn lại không đủ để suy ngược; giữ hay xoá gì phải hỏi pháp chế). - Tính lại gold nếu bảng gold có chiều khách hàng.
gold.daily_revenuechỉ theo ngày nên không đổi. - Xoá vật lý.
DELETEtrên bảng Delta chỉ ghi một version mới; file cũ vẫn nằm trên storage. Bảng mới trên Databricks thường bật deletion vectors: dòng chỉ bị đánh dấu xoá, vẫn nằm trong file Parquet đang dùng. ChạyREORG TABLE <bảng> APPLY (PURGE)để viết lại file, rồiVACUUMsau thời hạn giữ (mặc định 7 ngày). Sau bước này dữ liệu mới thật sự biến mất.
Không có đáp án dễ: bronze "không bao giờ sửa" mâu thuẫn với quyền được xoá. Hai cách thường gặp: xoá có kiểm soát ở bronze và ghi bảng kiểm toán, hoặc thay PII bằng khoá ẩn danh ngay lúc nạp.
Lab chỉ làm phần silver. Row filter của bài 1.3 còn bật nên bài chọn khách C0044 thuộc miền Bắc: bạn chỉ xoá được dòng mình thấy.
Dọn sau module
Gỡ filter và mask khỏi bảng trước khi xoá hàm:
ALTER TABLE workspace.silver.customers DROP ROW FILTER;
ALTER TABLE workspace.silver.customers ALTER COLUMN email DROP MASK;
DROP SCHEMA workspace.gov CASCADE;
Thu hồi quyền của analysts (databricks grants update với "remove" trên catalog workspace và schema gold) rồi xoá nhóm trong Settings. Chạy lại job Track 2 và bước 3 bài 1.1 để silver đầy đủ trở lại; kiểm bằng SELECT count(*) trên bảng khách: phải ra 500 và email hiện đầy đủ.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
system.access.table_lineage lọc theo target_table_full_name |
bảng nguồn trực tiếp (đi ngược) |
cùng bảng, lọc theo source_table_full_name |
bảng dùng nó (đi xuôi) |
workspace.information_schema.columns lọc theo column_name |
bảng nào có cột này |
DESCRIBE HISTORY <bảng> |
các version, gồm cả lần DELETE |
REORG TABLE <bảng> APPLY (PURGE) rồi VACUUM <bảng> |
xoá vật lý dòng đã DELETE |
Lỗi hay gặp
- Xoá ở silver rồi coi là xong. Pipeline chạy lại từ bronze và dữ liệu quay về.
- Dừng ở DELETE. File cũ vẫn chứa khách cho tới khi
REORG ... APPLY (PURGE)vàVACUUM. - Đổi cột mà không xem lineage xuôi. Dashboard vỡ và người dùng báo trước bạn.