DataOps Peach

DataOps Platform · Module 02

Hiệu năng

Đừng thêm máy khi job chậm: đọc Spark UI, chẩn đoán đúng bệnh (skew, shuffle, small files, spill) và chọn layout dữ liệu có số đo trước/sau.

Học tương tác →

Học xong bạn làm được

Bài học

  1. Đọc Spark UI

    Job chậm thì đọc số trước, thêm máy sau. Quy trình 5 bước đi từ stage chậm nhất tới spill, chỉ ra đúng bệnh; mọi thay đổi phải có số trước và sau.

  2. Skew và cách chữa

    Skew là khi một khoá ôm phần lớn dữ liệu và một task phải làm gần hết việc. Bốn cách chữa (AQE, broadcast, salting, tách khoá nóng), mỗi cách có giá của nó, và phải đo từng cách.

  3. Small files và OPTIMIZE

    Mỗi file có một chi phí cố định dù chỉ chứa vài dòng. Bảng 5372 dòng nằm trong 5000 file đọc chậm hơn hẳn cùng bảng trong một file. Đo numFiles, gộp bằng OPTIMIZE, đo lại.

  4. Partition, Z-order, liquid clustering

    Layout dữ liệu quyết định truy vấn phải đọc bao nhiêu file. Partition chỉ hợp cột ít giá trị trên bảng lớn; liquid clustering thay cả partition lẫn Z-order và đổi cột được mà không viết lại bảng. Chọn bằng số đo.