DataOps Peach

DataOps Platform · Chi phí và phục vụ BI · Bài 1/4

DBU và các loại compute

Hoá đơn Databricks là số DBU nhân giá DBU, cộng tiền máy ảo nếu dùng compute cổ điển. Giá DBU phụ thuộc loại compute, nên chọn sai loại cho một workload có thể đắt gấp ba bốn lần mà không nhanh hơn.

Học tương tác →

Công thức

DBU (Databricks Unit) là đơn vị đo năng lực xử lý theo giờ. Hoá đơn:

chi phí = số DBU × giá mỗi DBU  (+ tiền máy ảo trả cho cloud, nếu là compute cổ điển)

Bốn loại compute

Loại Dùng cho Giá DBU Ghi chú
All-purpose notebook, khám phá dữ liệu cao nhất sống tới khi tắt, dùng chung
Jobs compute job production thấp hơn nhiều tạo cho một lần chạy, chạy xong tự tắt
SQL warehouse dashboard, câu SQL của analyst riêng Photon mặc định, tự dừng sau khoảng rảnh đặt trước
Serverless (notebook, job) như trên, không quản máy gồm cả tiền máy khởi động vài giây

Lỗi tốn tiền số một: chạy job production trên all-purpose. Cùng số DBU, giá mỗi DBU của all-purpose cao gấp vài lần jobs compute. Tình huống giả định: job ETL chính chạy trên một all-purpose cluster dùng chung, khoảng 8.000 USD/tháng; chuyển sang jobs compute, cùng code, khoảng 2.500 USD/tháng.

Photon: đắt hơn hay rẻ hơn?

Photon (engine C++ của Databricks) có giá DBU cao hơn trên compute cổ điển, nhưng nếu job chạy nhanh hơn đủ nhiều thì tổng DBU × giá lại thấp hơn. Không có câu trả lời chung: chạy cùng job hai lần, so run_duration và DBU. Job toàn UDF Python ít được Photon tăng tốc.

Xem tiêu thụ ở đâu

flowchart LR
  W[workload] --> C{loại compute}
  C -->|notebook| A[all-purpose]
  C -->|job| J[jobs compute / serverless]
  C -->|dashboard| S[SQL warehouse]
  A --> B[DBU × giá]
  J --> B
  S --> B
  B --> H[hoá đơn]

Trên Free Edition

Free Edition không tính tiền nhưng có hạn mức sử dụng compute mỗi ngày; vượt hạn mức thì compute có thể bị tắt tới hết ngày (xem trang giới hạn của Free Edition trong docs Databricks). Chỉ có serverless và một SQL warehouse nhỏ, không có cluster cổ điển. Bảng system.billing.usage có thể rỗng hoặc bạn không có quyền đọc; khi đó đọc các bước của bài như cách làm ở workspace công ty. Con số giá trong bài là giả định để luyện tính; giá thật xem system.billing.list_prices hoặc trang giá của Databricks.

Lệnh hay dùng

Lệnh Để làm gì
databricks clusters list cluster cổ điển (all-purpose, jobs)
databricks warehouses list SQL warehouse, kích thước, trạng thái
SELECT ... FROM system.billing.usage DBU theo ngày, SKU, job
databricks jobs get-run <run_id> thời gian chạy để ước tính DBU

Lỗi hay gặp

Học tương tác →