DataOps Peach

DataOps Platform · Governance với Unity Catalog · Bài 1/4

catalog.schema.table và môi trường

Unity Catalog đặt mọi bảng vào tên ba tầng và quản lý quyền, lineage ở một nơi. Thiết kế catalog và schema là quyết định governance đầu tiên.

Học tương tác →

Governance là trả lời được câu hỏi về hệ thống của mình

Ba câu hỏi mà một đội dữ liệu phải trả lời được trong vài phút: ai đọc được bảng này, dữ liệu cá nhân (PII) nằm ở đâu, và đổi cột này thì vỡ cái gì. Governance là phần hạ tầng để trả lời ba câu đó bằng truy vấn, thay vì bằng trí nhớ của người làm lâu nhất.

Trước Unity Catalog: Hive Metastore

Hive Metastore là danh mục bảng đời trước của Databricks:

Hệ quả quen thuộc là tên bảng kiểu prod_finance_sales_daily. Môi trường, phòng ban và nội dung bị nhét hết vào tên. Đó là quản lý bằng quy ước đặt tên, tức quản lý bằng hy vọng: không gì ngăn một job dev ghi vào bảng có chữ prod_.

Unity Catalog: ba tầng

flowchart TD
  M[Metastore] --> C[Catalog: workspace]
  C --> B[Schema: bronze]
  C --> S[Schema: silver]
  C --> G[Schema: gold]
  S --> T1[Table: orders]
  S --> T2[Table: customers]
  C --> V[Volume, function, model]

Unity Catalog (UC) thêm tầng catalog: tên đầy đủ là catalog.schema.table, ví dụ workspace.silver.orders.

Hive Metastore Unity Catalog
Tên bảng schema.table catalog.schema.table
Phạm vi mỗi workspace một metastore một metastore dùng chung cho nhiều workspace
Quyền tới bảng tới bảng, cột (column mask) và dòng (row filter)
Lineage không tự động, tới cột
Quản lý bảng, view bảng, view, volume (file), function, model

Chia catalog theo tiêu chí nào

Catalog là ranh giới lớn nhất về quyền, nên chia theo thứ cần cách ly nhất:

Bên trong catalog, schema theo tầng medallion: bronze, silver, gold. Quy tắc mặc định: analyst đọc gold, không đọc bronze (dữ liệu thô chưa che PII, chưa khử trùng). Quyền cấp ở schema nên tên schema phải nói đúng thứ nằm trong đó.

Lab dùng Databricks Free Edition: một workspace, một metastore và catalog có sẵn tên workspace. Ta không tạo thêm catalog mà dùng schema để tách tầng; ở công ty, thêm tầng catalog cho môi trường.

Lệnh hay dùng

Lệnh Để làm gì
databricks catalogs list liệt kê catalog bạn thấy được
databricks schemas list workspace schema trong một catalog
databricks tables list workspace silver bảng trong một schema
databricks schemas get workspace.gold chủ sở hữu, ghi chú, ngày tạo của schema

Lỗi hay gặp

Học tương tác →