DataOps Peach

DataOps Platform · Hiệu năng · Bài 1/4

Đọc Spark UI

Job chậm thì đọc số trước, thêm máy sau. Quy trình 5 bước đi từ stage chậm nhất tới spill, chỉ ra đúng bệnh; mọi thay đổi phải có số trước và sau.

Học tương tác →

Thêm máy không phải là chẩn đoán

Tình huống giả định: job tổng hợp giao dịch chạy 4 tiếng. Nhóm tăng từ 10 lên 40 executor: job vẫn 4 tiếng, hoá đơn gấp 4. Mở Spark UI mới thấy một task chạy 3 giờ 50 phút, vì 60% giao dịch có merchant_id = 'UNKNOWN' và mọi dòng cùng khoá dồn vào một partition. Một partition chỉ chạy trên một core; 39 executor mới đứng chờ.

Câu xuyên suốt module này: đọc Spark UI trước, thêm máy sau.

Job, stage, task

flowchart LR
  J[job: write] --> S1[stage 1: đọc + partial sum]
  S1 -->|shuffle theo customer_id| S2[stage 2: sum cuối]
  S2 --> T1[task: 2 s]
  S2 --> T2[task: 2 s]
  S2 --> T3[task: 50 phút]

Quy trình 5 bước

  1. Stage chậm nhất. Trong tab Jobs / Stages, sắp theo Duration. Bỏ qua mọi thứ khác.
  2. Phân bố thời gian task. Tab Stages có Summary Metrics: min, 25%, median, 75%, max. Max gấp hàng chục lần median là skew (bài 2.2). Mọi task đều chậm như nhau là vấn đề khác.
  3. Shuffle read / write. Hàng trăm GB shuffle nghĩa là dữ liệu lớn đang bị chuyển qua mạng: lọc và chọn cột sớm hơn, hoặc broadcast bên nhỏ.
  4. Số task và số file. Số file đọc rất lớn so với dung lượng, thời gian scan cao, nhiều task ngắn là small files hoặc quá nhiều partition (bài 2.3). Vài task cho hàng trăm GB thì mỗi task quá nặng.
  5. Spill. Spill (memory / disk) là dữ liệu của một partition không vừa bộ nhớ, phải ghi tạm ra đĩa rồi đọc lại. Có spill thì partition quá to: tăng số partition, chữa skew, hoặc đổi sang máy nhiều RAM hơn.
Bệnh Dấu hiệu Thuốc
Skew max >> median trong một stage AQE skew join, broadcast, salting, tách khoá nóng
Shuffle thừa shuffle hàng trăm GB, nhiều stage lọc sớm, chọn cột, broadcast bên nhỏ
Small files rất nhiều file so với dung lượng, scan chậm OPTIMIZE, gộp trước khi ghi
Thiếu RAM spill, task chết vì hết bộ nhớ thêm partition, chữa skew, rồi mới tăng máy

AQE làm được gì

AQE (Adaptive Query Execution, bật mặc định từ Spark 3.2) xem kích thước thật sau mỗi shuffle rồi sửa kế hoạch lúc chạy:

AQE không sửa được: đọc thừa cột hay thừa dòng vì không lọc, layout file tồi ở nguồn, UDF chậm. Nó chỉ chỉnh những gì xảy ra sau shuffle.

Trên Free Edition

Free Edition chỉ có serverless. Không có Spark UI cổ điển; dưới mỗi cell có See performance mở query profile: từng toán tử với số dòng, thời gian, dung lượng shuffle và spill. Phân bố min / median / max của task đầy đủ nằm ở tab Stages của Spark UI trên compute cổ điển. Trên serverless bạn cũng không tắt được AQE.

Dữ liệu lab nhỏ (5.372.000 dòng sau crossJoin) chạy trong vài giây: mục tiêu là tập đọc số.

Trạng thái đầu module: workspace.silver.orders có 5372 đơn như sau task silver của Track 2. Nếu ở bài 1.4 bạn đã ẩn danh khách C0044 mà chưa chạy lại task silver, vài con số trong module sẽ lệch một ít.

Số trước và sau

Mọi thay đổi hiệu năng phải có bảng số trước và sau: thời gian chạy (databricks jobs get-run <run_id> cho run_duration), stage chậm nhất, median / max task (chỉ trên compute cổ điển), shuffle, spill. Không có số "trước" thì không chứng minh được thay đổi có tác dụng.

Lỗi hay gặp

Học tương tác →