DataOps Peach

DataOps Platform · Governance với Unity Catalog · Bài 4/4

Lineage và yêu cầu xoá dữ liệu

Lineage cho biết bảng nào sinh ra từ bảng nào. Dùng nó để phân tích tác động trước khi đổi, và để lập kế hoạch xoá dữ liệu của một khách ở mọi nơi nó đang nằm.

Học tương tác →

Lineage là gì

Lineage (dòng dõi dữ liệu) là đồ thị ghi lại bảng nào được tạo từ bảng nào. Unity Catalog ghi lineage tự động mỗi khi truy vấn, job hay pipeline đọc bảng này và ghi bảng kia, chi tiết tới từng cột.

flowchart LR
  V[CSV trong volume] --> BO[bronze.orders] --> SO[silver.orders] --> G[gold.daily_revenue]
  V --> BC[bronze.customers] --> SC[silver.customers]

Xem ở tab Lineage của bảng trong Catalog Explorer, hoặc truy vấn bảng hệ thống system.access.table_lineage (mỗi dòng là một cặp nguồn, đích). Bảng hệ thống giữ khoảng một năm gần nhất và có thể trễ vài phút.

Bốn việc lineage làm được

Việc Câu hỏi
Phân tích tác động Đổi tên cột unit_price ở silver thì bảng, dashboard nào vỡ? (đi xuôi)
Debug Số ở gold.daily_revenue sai: nó tính từ đâu? (đi ngược)
Dọn dẹp Bảng này còn ai đọc không, xoá được chưa?
Tuân thủ Dữ liệu của khách này đang nằm ở những bảng nào?

Không có lineage, truy một con số gold ngược về file gốc là đọc code từng job, mất hàng tuần; có lineage, đó là một truy vấn. Lineage chỉ biết những gì đi qua Unity Catalog: file tải về máy hay bảng xuất sang hệ thống khác nằm ngoài đồ thị.

Yêu cầu xoá dữ liệu

Luật bảo vệ dữ liệu cá nhân (GDPR ở châu Âu và quy định tương tự ở nhiều nước) cho khách quyền yêu cầu xoá dữ liệu của mình. Medallion cố ý giữ dữ liệu ở nhiều tầng nên việc này khó. Trình tự:

  1. Liệt kê mọi nơi chứa khách. Lineage đi xuôi từ nguồn, cộng với tìm theo tên cột (information_schema.columns).
  2. Xoá hoặc ẩn danh từ nguồn về đích. Chỉ xoá ở silver thì lần chạy sau pipeline dựng lại silver từ bronze và khách xuất hiện trở lại.
  3. Giữ báo cáo lịch sử bằng ẩn danh hoá. Xoá 14 đơn của khách thì doanh thu các tháng cũ đổi. Thay customer_id bằng một giá trị vô danh: đơn và doanh thu còn nguyên, không còn nối được về một người (miễn là các cột còn lại không đủ để suy ngược; giữ hay xoá gì phải hỏi pháp chế).
  4. Tính lại gold nếu bảng gold có chiều khách hàng. gold.daily_revenue chỉ theo ngày nên không đổi.
  5. Xoá vật lý. DELETE trên bảng Delta chỉ ghi một version mới; file cũ vẫn nằm trên storage. Bảng mới trên Databricks thường bật deletion vectors: dòng chỉ bị đánh dấu xoá, vẫn nằm trong file Parquet đang dùng. Chạy REORG TABLE <bảng> APPLY (PURGE) để viết lại file, rồi VACUUM sau thời hạn giữ (mặc định 7 ngày). Sau bước này dữ liệu mới thật sự biến mất.

Không có đáp án dễ: bronze "không bao giờ sửa" mâu thuẫn với quyền được xoá. Hai cách thường gặp: xoá có kiểm soát ở bronze và ghi bảng kiểm toán, hoặc thay PII bằng khoá ẩn danh ngay lúc nạp.

Lab chỉ làm phần silver. Row filter của bài 1.3 còn bật nên bài chọn khách C0044 thuộc miền Bắc: bạn chỉ xoá được dòng mình thấy.

Dọn sau module

Gỡ filter và mask khỏi bảng trước khi xoá hàm:

ALTER TABLE workspace.silver.customers DROP ROW FILTER;
ALTER TABLE workspace.silver.customers ALTER COLUMN email DROP MASK;
DROP SCHEMA workspace.gov CASCADE;

Thu hồi quyền của analysts (databricks grants update với "remove" trên catalog workspace và schema gold) rồi xoá nhóm trong Settings. Chạy lại job Track 2 và bước 3 bài 1.1 để silver đầy đủ trở lại; kiểm bằng SELECT count(*) trên bảng khách: phải ra 500 và email hiện đầy đủ.

Lệnh hay dùng

Lệnh Để làm gì
system.access.table_lineage lọc theo target_table_full_name bảng nguồn trực tiếp (đi ngược)
cùng bảng, lọc theo source_table_full_name bảng dùng nó (đi xuôi)
workspace.information_schema.columns lọc theo column_name bảng nào có cột này
DESCRIBE HISTORY <bảng> các version, gồm cả lần DELETE
REORG TABLE <bảng> APPLY (PURGE) rồi VACUUM <bảng> xoá vật lý dòng đã DELETE

Lỗi hay gặp

Học tương tác →