Governance là trả lời được câu hỏi về hệ thống của mình
Ba câu hỏi mà một đội dữ liệu phải trả lời được trong vài phút: ai đọc được bảng này, dữ liệu cá nhân (PII) nằm ở đâu, và đổi cột này thì vỡ cái gì. Governance là phần hạ tầng để trả lời ba câu đó bằng truy vấn, thay vì bằng trí nhớ của người làm lâu nhất.
Trước Unity Catalog: Hive Metastore
Hive Metastore là danh mục bảng đời trước của Databricks:
- Tên hai tầng:
schema.table. - Mỗi workspace một metastore: workspace khác không thấy bảng, và quyền phải cấu hình lại ở từng nơi.
- Quyền gắn với workspace và thường phải lo thêm ở tầng file trên cloud storage; không có mask hay filter gắn trên bảng, muốn che cột hay lọc dòng phải dựng view riêng.
- Không có lineage: không ai biết bảng nào sinh ra từ bảng nào.
Hệ quả quen thuộc là tên bảng kiểu prod_finance_sales_daily. Môi trường, phòng ban và nội dung bị nhét hết vào tên. Đó là quản lý bằng quy ước đặt tên, tức quản lý bằng hy vọng: không gì ngăn một job dev ghi vào bảng có chữ prod_.
Unity Catalog: ba tầng
flowchart TD M[Metastore] --> C[Catalog: workspace] C --> B[Schema: bronze] C --> S[Schema: silver] C --> G[Schema: gold] S --> T1[Table: orders] S --> T2[Table: customers] C --> V[Volume, function, model]
Unity Catalog (UC) thêm tầng catalog: tên đầy đủ là catalog.schema.table, ví dụ workspace.silver.orders.
| Hive Metastore | Unity Catalog | |
|---|---|---|
| Tên bảng | schema.table |
catalog.schema.table |
| Phạm vi | mỗi workspace một metastore | một metastore dùng chung cho nhiều workspace |
| Quyền | tới bảng | tới bảng, cột (column mask) và dòng (row filter) |
| Lineage | không | tự động, tới cột |
| Quản lý | bảng, view | bảng, view, volume (file), function, model |
Chia catalog theo tiêu chí nào
Catalog là ranh giới lớn nhất về quyền, nên chia theo thứ cần cách ly nhất:
- Theo môi trường:
dev,staging,prod. Cùng một code chạy ở ba nơi chỉ bằng cách đổi tên catalog (Module 04 và 05 dùng cách này). Người và job dev không có quyền ghi vàoprod. - Theo phòng ban hoặc miền dữ liệu:
finance,marketing, khi mỗi phòng tự chịu trách nhiệm dữ liệu của mình.
Bên trong catalog, schema theo tầng medallion: bronze, silver, gold. Quy tắc mặc định: analyst đọc gold, không đọc bronze (dữ liệu thô chưa che PII, chưa khử trùng). Quyền cấp ở schema nên tên schema phải nói đúng thứ nằm trong đó.
Lab dùng Databricks Free Edition: một workspace, một metastore và catalog có sẵn tên workspace. Ta không tạo thêm catalog mà dùng schema để tách tầng; ở công ty, thêm tầng catalog cho môi trường.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
databricks catalogs list |
liệt kê catalog bạn thấy được |
databricks schemas list workspace |
schema trong một catalog |
databricks tables list workspace silver |
bảng trong một schema |
databricks schemas get workspace.gold |
chủ sở hữu, ghi chú, ngày tạo của schema |
Lỗi hay gặp
- Nhét môi trường vào tên bảng (
prod_orders,orders_dev) thay vì dùng catalog. - Để mọi thứ trong schema
default. Không cấp quyền theo tầng được vì không có tầng. - Viết tên hai tầng trong code (
silver.orders). Code chạy đúng hay sai tuỳ catalog hiện hành của phiên; luôn viết đủ ba tầng hoặc truyền catalog bằng tham số. - Coi
bronzelà nơi ai cũng đọc được. Bronze chứa PII nguyên văn.