DataOps Peach

DataOps Platform · Chi phí và phục vụ BI · Bài 3/4

SQL warehouse và materialized view

Dashboard cần câu trả lời trong vài giây cho nhiều người cùng lúc. SQL warehouse làm việc đó tốt hơn cluster thường; materialized view tính sẵn phần nặng để mỗi lần mở dashboard không phải tính lại từ đầu.

Học tương tác →

SQL warehouse khác cluster ở đâu

Cluster (all-purpose) SQL warehouse
Tối ưu cho job dài, notebook, Python / Scala câu SQL ngắn, nhiều người cùng lúc
Engine Spark, Photon tuỳ chọn Photon mặc định
Ngôn ngữ mọi thứ SQL
Khi rảnh chạy tới khi tự tắt tự dừng sau auto_stop_mins (mặc định khoảng 10 phút với serverless)
Khởi động vài phút (cổ điển) vài giây nếu serverless

Serverless SQL warehouse không tính tiền khi đã dừng (vẫn tính trong khoảng rảnh trước auto stop) và khởi động trong vài giây. Analyst không phải đợi 5 phút để cluster bật cho một câu query, và không ai phải để cluster chạy cả ngày "cho nhanh". Warehouse cổ điển có thể rẻ hơn mỗi giờ chạy (giá DBU thấp hơn nhưng trả thêm tiền máy ảo) và khởi động chậm, nên chỉ đáng khi tải đều cả ngày.

Materialized view

Materialized view (MV) lưu sẵn kết quả của một câu SELECT, như một bảng. Dashboard đọc MV thay vì join và tổng hợp lại từ bảng chi tiết mỗi lần mở.

MV là hậu duệ của OLAP cube: cùng ý tưởng tính sẵn, nhưng chỉ tính đúng câu hỏi bạn cần, viết bằng SQL thường, và Databricks lo việc làm mới.

Import hay DirectQuery

Power BI và Tableau có hai cách nối dữ liệu:

Bảng gold nhỏ (bài 3.4) hoặc MV + Import là lựa chọn mặc định cho dashboard xem hằng ngày. DirectQuery chỉ khi người dùng thật sự cần số từng phút.

Trong bài

MV workspace.gold.mv_daily_revenue: doanh thu đơn completed theo ngày × kênh (1542 dòng, tính từ 5372 đơn). Truy vấn kênh web trên MV và trên silver.orders ra cùng kết quả: 368 ngày, 1000 đơn, 12.985.938.000. So thời gian hai câu ở dưới kết quả; dữ liệu lab nhỏ nên chênh ít, nhưng câu trên MV không phải join hay group lại.

flowchart LR
  F[silver.orders · 5372 đơn] -->|REFRESH| M[mv_daily_revenue · 1542 dòng]
  M --> D[dashboard]
  F -.->|mỗi lần mở: group lại| D

Trên Free Edition

Có một SQL warehouse serverless nhỏ (2X-Small). MV dùng compute serverless để làm mới; nếu lệnh tạo MV bị từ chối, ghi lại thông báo lỗi và dùng CREATE TABLE ... AS SELECT để so (bảng thường phải tự chạy lại để làm mới).

Lệnh hay dùng

Lệnh Để làm gì
databricks warehouses get <warehouse_id> kích thước, auto stop, serverless, Photon
CREATE MATERIALIZED VIEW ... AS SELECT ... tạo MV
REFRESH MATERIALIZED VIEW <tên> làm mới MV

Lỗi hay gặp

Học tương tác →