Không đổi logic, vẫn giảm hoá đơn
Tình huống giả định: một startup trả 47.000 USD/tháng cho Databricks. Sau một tháng dọn dẹp còn 9.000 USD, không đổi một dòng logic nghiệp vụ. Riêng 12 cluster không bật tự tắt đã chiếm khoảng 19.000 USD/tháng.
Bảy nguồn
| # | Nguồn lãng phí | Tìm ở đâu | Cách chữa |
|---|---|---|---|
| 1 | Không auto-terminate: cluster chạy cả đêm, cuối tuần | autotermination_minutes = 0 hoặc rất lớn |
đặt 10–30 phút cho all-purpose |
| 2 | Job trên all-purpose | job có existing_cluster_id |
chuyển sang jobs compute / serverless (bài 3.1) |
| 3 | Máy quá to: CPU rảnh 80% | metrics của cluster, query profile | giảm kích thước, đo lại |
| 4 | Không dùng spot | cấu hình cluster | spot cho worker của job idempotent có retry |
| 5 | Full refresh khi chỉ cần incremental | job ghi đè cả bảng mỗi lần | MERGE / Auto Loader (Track 2) |
| 6 | Quét thừa vì không layout | query profile đọc gần hết file | clustering, OPTIMIZE (Module 02) |
| 7 | Chạy dày hơn người xem | lịch job so với số lần mở dashboard | chạy theo nhịp người dùng cần |
Spot cần idempotency
Máy spot (hay preemptible) rẻ hơn nhiều nhưng cloud có thể thu hồi bất cứ lúc nào. Khi worker bị thu hồi, task chạy lại; khi cả job hỏng, retry chạy lại từ đầu. Điều đó chỉ an toàn khi job idempotent: chạy lại ra cùng kết quả, không nhân đôi dữ liệu (Track 1 Module 04). Job INSERT nối thêm không có khoá thì đừng dùng spot. Driver nên là máy on-demand.
Right-sizing có đường cong
Tăng gấp đôi máy không làm job nhanh gấp đôi: tới một mức, thời gian gần như đứng yên (shuffle, skew, một task chậm) còn tiền tăng đều. Thử 2–3 kích thước, vẽ thời gian và chi phí theo kích thước, chọn điểm mà tăng thêm máy không còn rút ngắn đáng kể.
Autoscaling không phải thuốc tiên
Autoscaling thêm máy khi có việc chờ và bớt máy khi rảnh, nhưng:
- không chữa skew: thêm máy vẫn chờ một task (Module 02);
- bớt máy chậm, nên cluster rảnh vẫn trả tiền một lúc;
- giới hạn trên đặt quá cao thì một job tồi có thể kéo lên hàng chục máy.
Chạy theo nhịp người xem
Job làm mới dashboard mỗi 5 phút = 288 lần / ngày. Nếu người ta chỉ mở dashboard sáng và chiều, 286 lần là thừa. Hỏi "ai đọc kết quả, bao lâu một lần" trước khi đặt lịch. Trong bài: một job chạy 6 phút, chạy mỗi giờ là 4320 phút compute / tháng, chạy mỗi ngày là 180 phút.
flowchart LR I[kiểm kê: clusters, jobs, billing] --> L[đánh dấu rò rỉ] L --> F[sửa: auto stop, jobs compute, lịch] F --> M[đo lại tháng sau]
Trên Free Edition
Không có cluster cổ điển nên nguồn 1–4 không thấy được; bài đọc chúng như ở workspace công ty. Job của Track 2 (dataops-peach-orders) chưa có lịch; bài đặt lịch hằng ngày ở trạng thái PAUSED để không ăn hạn mức. Muốn chạy thật, đổi pause_status thành UNPAUSED.
Lỗi hay gặp
- Dọn một lần rồi thôi. Cluster mới lại được tạo không có auto stop; đặt cluster policy bắt buộc auto stop và giới hạn kích thước.
- Spot cho job không idempotent. Rẻ hơn nhưng dữ liệu trùng.
- Không ghi số trước. Không chứng minh được đã tiết kiệm bao nhiêu.