DataOps Platform · Module 02
Hiệu năng
Đừng thêm máy khi job chậm: đọc Spark UI, chẩn đoán đúng bệnh (skew, shuffle, small files, spill) và chọn layout dữ liệu có số đo trước/sau.
Học xong bạn làm được
- Đi theo quy trình 5 bước đọc Spark UI
- Chữa skew bằng AQE, broadcast hoặc salting
- Đo small files trước và sau OPTIMIZE
- Chọn giữa partition, Z-order và liquid clustering bằng số đo
Bài học
- Đọc Spark UI
Job chậm thì đọc số trước, thêm máy sau. Quy trình 5 bước đi từ stage chậm nhất tới spill, chỉ ra đúng bệnh; mọi thay đổi phải có số trước và sau.
- Skew và cách chữa
Skew là khi một khoá ôm phần lớn dữ liệu và một task phải làm gần hết việc. Bốn cách chữa (AQE, broadcast, salting, tách khoá nóng), mỗi cách có giá của nó, và phải đo từng cách.
- Small files và OPTIMIZE
Mỗi file có một chi phí cố định dù chỉ chứa vài dòng. Bảng 5372 dòng nằm trong 5000 file đọc chậm hơn hẳn cùng bảng trong một file. Đo numFiles, gộp bằng OPTIMIZE, đo lại.
- Partition, Z-order, liquid clustering
Layout dữ liệu quyết định truy vấn phải đọc bao nhiêu file. Partition chỉ hợp cột ít giá trị trên bảng lớn; liquid clustering thay cả partition lẫn Z-order và đổi cột được mà không viết lại bảng. Chọn bằng số đo.