SQL warehouse khác cluster ở đâu
| Cluster (all-purpose) | SQL warehouse | |
|---|---|---|
| Tối ưu cho | job dài, notebook, Python / Scala | câu SQL ngắn, nhiều người cùng lúc |
| Engine | Spark, Photon tuỳ chọn | Photon mặc định |
| Ngôn ngữ | mọi thứ | SQL |
| Khi rảnh | chạy tới khi tự tắt | tự dừng sau auto_stop_mins (mặc định khoảng 10 phút với serverless) |
| Khởi động | vài phút (cổ điển) | vài giây nếu serverless |
Serverless SQL warehouse không tính tiền khi đã dừng (vẫn tính trong khoảng rảnh trước auto stop) và khởi động trong vài giây. Analyst không phải đợi 5 phút để cluster bật cho một câu query, và không ai phải để cluster chạy cả ngày "cho nhanh". Warehouse cổ điển có thể rẻ hơn mỗi giờ chạy (giá DBU thấp hơn nhưng trả thêm tiền máy ảo) và khởi động chậm, nên chỉ đáng khi tải đều cả ngày.
Materialized view
Materialized view (MV) lưu sẵn kết quả của một câu SELECT, như một bảng. Dashboard đọc MV thay vì join và tổng hợp lại từ bảng chi tiết mỗi lần mở.
- Tạo:
CREATE MATERIALIZED VIEW <tên> AS SELECT .... - Làm mới:
REFRESH MATERIALIZED VIEW <tên>, hoặc đặt lịch (SCHEDULE) khi tạo. Databricks làm mới tăng dần khi có thể, chỉ tính lại phần dữ liệu đổi; không được thì tính lại toàn bộ. Làm mới tăng dần cần nguồn được MERGE / nối thêm và bật row tracking;silver.orderscủa lab bịCREATE OR REPLACEmỗi lần job chạy nên REFRESH ở đây sẽ tính lại toàn bộ. - Giữa hai lần làm mới, MV có thể cũ hơn bảng nguồn: đó là đánh đổi giữa độ tươi và chi phí.
MV là hậu duệ của OLAP cube: cùng ý tưởng tính sẵn, nhưng chỉ tính đúng câu hỏi bạn cần, viết bằng SQL thường, và Databricks lo việc làm mới.
Import hay DirectQuery
Power BI và Tableau có hai cách nối dữ liệu:
- Import: tải dữ liệu vào bộ nhớ của công cụ BI theo lịch. Mở dashboard rất nhanh, warehouse không tốn gì mỗi lần mở; dữ liệu cũ tới lần làm mới sau.
- DirectQuery / Live: mỗi lần mở, mỗi biểu đồ gửi một câu SQL tới warehouse. Luôn mới nhất; mỗi lần mở là tiền.
Bảng gold nhỏ (bài 3.4) hoặc MV + Import là lựa chọn mặc định cho dashboard xem hằng ngày. DirectQuery chỉ khi người dùng thật sự cần số từng phút.
Trong bài
MV workspace.gold.mv_daily_revenue: doanh thu đơn completed theo ngày × kênh (1542 dòng, tính từ 5372 đơn). Truy vấn kênh web trên MV và trên silver.orders ra cùng kết quả: 368 ngày, 1000 đơn, 12.985.938.000. So thời gian hai câu ở dưới kết quả; dữ liệu lab nhỏ nên chênh ít, nhưng câu trên MV không phải join hay group lại.
flowchart LR F[silver.orders · 5372 đơn] -->|REFRESH| M[mv_daily_revenue · 1542 dòng] M --> D[dashboard] F -.->|mỗi lần mở: group lại| D
Trên Free Edition
Có một SQL warehouse serverless nhỏ (2X-Small). MV dùng compute serverless để làm mới; nếu lệnh tạo MV bị từ chối, ghi lại thông báo lỗi và dùng CREATE TABLE ... AS SELECT để so (bảng thường phải tự chạy lại để làm mới).
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
databricks warehouses get <warehouse_id> |
kích thước, auto stop, serverless, Photon |
CREATE MATERIALIZED VIEW ... AS SELECT ... |
tạo MV |
REFRESH MATERIALIZED VIEW <tên> |
làm mới MV |
Lỗi hay gặp
- Dashboard DirectQuery trên bảng chi tiết. Mỗi lần mở là quét lại hàng triệu dòng.
- Warehouse auto stop quá dài. Warehouse đang chạy mà rảnh vẫn tính tiền.
- Quên MV cũ. Số trên dashboard chậm hơn nguồn mà không ai biết; hiển thị thời điểm làm mới cuối.