Thêm máy không phải là chẩn đoán
Tình huống giả định: job tổng hợp giao dịch chạy 4 tiếng. Nhóm tăng từ 10 lên 40 executor: job vẫn 4 tiếng, hoá đơn gấp 4. Mở Spark UI mới thấy một task chạy 3 giờ 50 phút, vì 60% giao dịch có merchant_id = 'UNKNOWN' và mọi dòng cùng khoá dồn vào một partition. Một partition chỉ chạy trên một core; 39 executor mới đứng chờ.
Câu xuyên suốt module này: đọc Spark UI trước, thêm máy sau.
Job, stage, task
- Job: mỗi action (
count(),write,show()) sinh ra một hoặc vài job. - Stage: job bị cắt thành stage ở mỗi chỗ phải shuffle (
groupBy,joinkhông broadcast,orderBy). Trong một stage, dữ liệu không đi qua mạng. - Task: mỗi stage chạy một task cho mỗi partition. Stage chỉ xong khi task chậm nhất xong.
flowchart LR J[job: write] --> S1[stage 1: đọc + partial sum] S1 -->|shuffle theo customer_id| S2[stage 2: sum cuối] S2 --> T1[task: 2 s] S2 --> T2[task: 2 s] S2 --> T3[task: 50 phút]
Quy trình 5 bước
- Stage chậm nhất. Trong tab Jobs / Stages, sắp theo Duration. Bỏ qua mọi thứ khác.
- Phân bố thời gian task. Tab Stages có Summary Metrics: min, 25%, median, 75%, max. Max gấp hàng chục lần median là skew (bài 2.2). Mọi task đều chậm như nhau là vấn đề khác.
- Shuffle read / write. Hàng trăm GB shuffle nghĩa là dữ liệu lớn đang bị chuyển qua mạng: lọc và chọn cột sớm hơn, hoặc broadcast bên nhỏ.
- Số task và số file. Số file đọc rất lớn so với dung lượng, thời gian scan cao, nhiều task ngắn là small files hoặc quá nhiều partition (bài 2.3). Vài task cho hàng trăm GB thì mỗi task quá nặng.
- Spill. Spill (memory / disk) là dữ liệu của một partition không vừa bộ nhớ, phải ghi tạm ra đĩa rồi đọc lại. Có spill thì partition quá to: tăng số partition, chữa skew, hoặc đổi sang máy nhiều RAM hơn.
| Bệnh | Dấu hiệu | Thuốc |
|---|---|---|
| Skew | max >> median trong một stage | AQE skew join, broadcast, salting, tách khoá nóng |
| Shuffle thừa | shuffle hàng trăm GB, nhiều stage | lọc sớm, chọn cột, broadcast bên nhỏ |
| Small files | rất nhiều file so với dung lượng, scan chậm | OPTIMIZE, gộp trước khi ghi |
| Thiếu RAM | spill, task chết vì hết bộ nhớ | thêm partition, chữa skew, rồi mới tăng máy |
AQE làm được gì
AQE (Adaptive Query Execution, bật mặc định từ Spark 3.2) xem kích thước thật sau mỗi shuffle rồi sửa kế hoạch lúc chạy:
- gộp các partition shuffle quá nhỏ;
- chuyển sort-merge join sang broadcast join khi một bên hoá ra nhỏ;
- tách partition bị skew trong join thành nhiều task.
AQE không sửa được: đọc thừa cột hay thừa dòng vì không lọc, layout file tồi ở nguồn, UDF chậm. Nó chỉ chỉnh những gì xảy ra sau shuffle.
Trên Free Edition
Free Edition chỉ có serverless. Không có Spark UI cổ điển; dưới mỗi cell có See performance mở query profile: từng toán tử với số dòng, thời gian, dung lượng shuffle và spill. Phân bố min / median / max của task đầy đủ nằm ở tab Stages của Spark UI trên compute cổ điển. Trên serverless bạn cũng không tắt được AQE.
Dữ liệu lab nhỏ (5.372.000 dòng sau crossJoin) chạy trong vài giây: mục tiêu là tập đọc số.
Trạng thái đầu module: workspace.silver.orders có 5372 đơn như sau task silver của Track 2. Nếu ở bài 1.4 bạn đã ẩn danh khách C0044 mà chưa chạy lại task silver, vài con số trong module sẽ lệch một ít.
Số trước và sau
Mọi thay đổi hiệu năng phải có bảng số trước và sau: thời gian chạy (databricks jobs get-run <run_id> cho run_duration), stage chậm nhất, median / max task (chỉ trên compute cổ điển), shuffle, spill. Không có số "trước" thì không chứng minh được thay đổi có tác dụng.
Lỗi hay gặp
- Tăng máy trước khi đọc UI. Skew không giảm khi thêm máy.
- Đo một lần rồi kết luận. Đo vài lần.
- Sửa nhiều thứ cùng lúc. Không biết thay đổi nào có tác dụng.