DataOps Peach

DataOps Platform · Governance với Unity Catalog · Bài 3/4

Column mask và row filter

Che PII và lọc dòng theo người đọc ngay trên bảng gốc bằng hàm SQL, thay vì tạo bảng copy rồi để hai bảng lệch nhau.

Học tương tác →

Cách cũ: bảng copy

Cần cho analyst xem khách hàng mà không lộ email, cách quen tay là tạo customers_masked: copy bảng, bỏ cột email. Rồi thêm customers_north cho giám đốc miền Bắc. Mỗi bản copy là một pipeline phải chạy, một bảng phải cấp quyền, và một nơi nữa chứa dữ liệu cá nhân (PII, Personally Identifiable Information).

Các bản copy lệch nhau: bảng gốc sửa lỗi hôm nay, bản copy tới mai mới cập nhật, hoặc không bao giờ. Và không ai nhớ hết chúng. Một tình huống điển hình (giả định): ngân hàng rà soát và tìm thấy số CMND ở 47 bảng, trong đó 31 bảng không ai biết tồn tại, phần lớn là bản copy tạo ra để bỏ cột nhạy cảm.

Column mask: một hàm gắn vào cột

Column mask là một hàm SQL gắn vào một cột. Mỗi lần có người đọc cột đó, Unity Catalog gọi hàm và trả kết quả của hàm thay cho giá trị thật.

CREATE OR REPLACE FUNCTION workspace.gov.mask_email(email STRING)
RETURN CASE WHEN is_account_group_member('pii_readers') THEN email
            ELSE regexp_replace(email, '^[^@]+', '***') END;

ALTER TABLE workspace.silver.customers ALTER COLUMN email SET MASK workspace.gov.mask_email;

Mask áp dụng cho mọi người, kể cả chủ bảng và admin. Muốn ai được xem giá trị thật thì chính logic của hàm phải cho phép. Trong lab bạn chưa thuộc pii_readers nên sẽ thấy email bị che ngay trên bảng mình tạo.

Row filter: một hàm trả true/false cho từng dòng

Row filter gắn vào bảng một hàm trả boolean; dòng nào hàm trả false thì người đọc không thấy, như thể nó không tồn tại.

CREATE OR REPLACE FUNCTION workspace.gov.region_filter(region STRING)
RETURN is_account_group_member('all_regions') OR region = 'miền bắc';

ALTER TABLE workspace.silver.customers SET ROW FILTER workspace.gov.region_filter ON (region);

Người thuộc all_regions thấy cả 500 khách; người khác chỉ thấy 162 khách miền Bắc. Mỗi bảng chỉ có một row filter; cần nhiều điều kiện thì viết chung trong một hàm. Ở hệ thống thật, vùng của từng người đọc lấy từ nhóm hoặc bảng ánh xạ chứ không viết cứng 'miền bắc'.

flowchart LR
  T[silver.customers: một bảng] --> A[pii_readers + all_regions: 500 dòng, email thật]
  T --> B[người khác: 162 dòng miền Bắc, email ***]

Dùng column mask khi mọi người được thấy dòng nhưng không phải ai cũng thấy giá trị của một cột. Dùng row filter khi mỗi người chỉ được thấy một phần số dòng.

Điều cần nhớ khi vận hành

Lệnh hay dùng

Lệnh Để làm gì
CREATE OR REPLACE FUNCTION <schema>.<hàm>(c STRING) RETURN ... viết logic che hoặc lọc
ALTER TABLE t ALTER COLUMN c SET MASK <hàm> gắn column mask
ALTER TABLE t SET ROW FILTER <hàm> ON (c) gắn row filter
SELECT is_account_group_member('pii_readers') kiểm mình có thuộc nhóm không

Lỗi hay gặp

Học tương tác →