Cách cũ: bảng copy
Cần cho analyst xem khách hàng mà không lộ email, cách quen tay là tạo customers_masked: copy bảng, bỏ cột email. Rồi thêm customers_north cho giám đốc miền Bắc. Mỗi bản copy là một pipeline phải chạy, một bảng phải cấp quyền, và một nơi nữa chứa dữ liệu cá nhân (PII, Personally Identifiable Information).
Các bản copy lệch nhau: bảng gốc sửa lỗi hôm nay, bản copy tới mai mới cập nhật, hoặc không bao giờ. Và không ai nhớ hết chúng. Một tình huống điển hình (giả định): ngân hàng rà soát và tìm thấy số CMND ở 47 bảng, trong đó 31 bảng không ai biết tồn tại, phần lớn là bản copy tạo ra để bỏ cột nhạy cảm.
Column mask: một hàm gắn vào cột
Column mask là một hàm SQL gắn vào một cột. Mỗi lần có người đọc cột đó, Unity Catalog gọi hàm và trả kết quả của hàm thay cho giá trị thật.
CREATE OR REPLACE FUNCTION workspace.gov.mask_email(email STRING)
RETURN CASE WHEN is_account_group_member('pii_readers') THEN email
ELSE regexp_replace(email, '^[^@]+', '***') END;
ALTER TABLE workspace.silver.customers ALTER COLUMN email SET MASK workspace.gov.mask_email;
is_account_group_member('pii_readers')trảtruenếu người đang chạy truy vấn thuộc nhóm đó.- Người trong nhóm thấy
nguyen.duc.an1@example.com; người ngoài nhóm thấy***@example.com. - Tham số của hàm cùng kiểu với cột (hoặc kiểu mà cột ép sang được); giá trị trả về phải ép được về kiểu của cột.
Mask áp dụng cho mọi người, kể cả chủ bảng và admin. Muốn ai được xem giá trị thật thì chính logic của hàm phải cho phép. Trong lab bạn chưa thuộc pii_readers nên sẽ thấy email bị che ngay trên bảng mình tạo.
Row filter: một hàm trả true/false cho từng dòng
Row filter gắn vào bảng một hàm trả boolean; dòng nào hàm trả false thì người đọc không thấy, như thể nó không tồn tại.
CREATE OR REPLACE FUNCTION workspace.gov.region_filter(region STRING)
RETURN is_account_group_member('all_regions') OR region = 'miền bắc';
ALTER TABLE workspace.silver.customers SET ROW FILTER workspace.gov.region_filter ON (region);
Người thuộc all_regions thấy cả 500 khách; người khác chỉ thấy 162 khách miền Bắc. Mỗi bảng chỉ có một row filter; cần nhiều điều kiện thì viết chung trong một hàm. Ở hệ thống thật, vùng của từng người đọc lấy từ nhóm hoặc bảng ánh xạ chứ không viết cứng 'miền bắc'.
flowchart LR T[silver.customers: một bảng] --> A[pii_readers + all_regions: 500 dòng, email thật] T --> B[người khác: 162 dòng miền Bắc, email ***]
Dùng column mask khi mọi người được thấy dòng nhưng không phải ai cũng thấy giá trị của một cột. Dùng row filter khi mỗi người chỉ được thấy một phần số dòng.
Điều cần nhớ khi vận hành
- Filter và mask cũng áp dụng cho
UPDATE,DELETE: bạn chỉ sửa, xoá được dòng mình thấy.count(*)cũng chỉ đếm dòng mình thấy. - Gỡ bằng
ALTER TABLE ... DROP ROW FILTERvàALTER TABLE ... ALTER COLUMN email DROP MASK. Gỡ khỏi bảng trước rồi mớiDROP FUNCTION; xoá hàm trước có thể làm bảng không đọc được. - Dừng học ở đây thì bảng vẫn bị lọc còn 162 dòng; cách gỡ nằm ở mục "Dọn sau module" của bài 1.4.
- Mask chỉ bảo vệ bảng nó gắn vào.
bronze.customersvà file CSV vẫn chứa email nguyên văn: quyền đọc bronze phải khoá bằng GRANT.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
CREATE OR REPLACE FUNCTION <schema>.<hàm>(c STRING) RETURN ... |
viết logic che hoặc lọc |
ALTER TABLE t ALTER COLUMN c SET MASK <hàm> |
gắn column mask |
ALTER TABLE t SET ROW FILTER <hàm> ON (c) |
gắn row filter |
SELECT is_account_group_member('pii_readers') |
kiểm mình có thuộc nhóm không |
Lỗi hay gặp
- Tạo bảng copy để che cột. Thêm một nơi chứa PII và một nơi để lệch.
- Tưởng chủ bảng được miễn. Số dòng "thiếu" khi kiểm tra thường là do row filter đang áp lên chính bạn.
- Che ở silver, quên bronze. PII vẫn đọc được ở tầng dưới.
- Dùng mask thay cho GRANT. Mask che giá trị; ai được đọc bảng vẫn do GRANT quyết định.