Skew là gì
Join và groupBy chia dữ liệu theo khoá: mọi dòng cùng khoá về cùng một partition. Khi một khoá ôm phần lớn dữ liệu, partition của nó to gấp hàng trăm lần các partition khác và task của nó chạy mãi trong khi các task khác đã xong. Đó là skew (lệch dữ liệu).
Khoá nóng hay gặp: UNKNOWN, NULL, chuỗi rỗng, khách "khách lẻ", một sản phẩm bán chạy, một ngày khuyến mãi.
Trong bài, ta tạo skew: mọi đơn có order_id tận cùng 0–5 bị đổi thành khách C0001. Dữ liệu nhân 1000 lần (như bài 2.1) thì C0001 có 3.229.000 trên 5.372.000 dòng (60%), trong khi median chỉ 4.000 dòng mỗi khoá. Dùng chữ số cuối thay rand() để ai chạy cũng ra cùng số.
Nhận ra skew: trong Spark UI, max task >> median (bài 2.1); hoặc đếm dòng theo khoá như bước 2 của bài.
Bốn cách chữa
1. AQE skew join. Với sort-merge join (và shuffled hash join từ Spark 3.3), AQE (spark.sql.adaptive.skewJoin.enabled, bật mặc định) tách partition bị skew thành nhiều task nhỏ, nhân bản phần tương ứng bên kia. Không phải sửa code. Nhưng chỉ tách khi partition vừa lớn hơn 5 lần median vừa vượt ngưỡng kích thước (mặc định 256 MB), và chỉ áp cho join, không cho groupBy hay window.
2. Broadcast bên nhỏ. Bên nhỏ (bảng khách 500 dòng) được gửi nguyên tới mọi executor; bên lớn không shuffle nên không có partition nào bị dồn. Đủ khi bên nhỏ thật sự nhỏ (vài chục, vài trăm MB). Bảng hàng chục GB thì không broadcast được.
3. Salting. Khi cả hai bên đều lớn:
- bên lớn thêm cột
saltngẫu nhiên 0..N-1, nên C0001 rải ra N partition; - bên nhỏ nhân bản N lần, mỗi bản một giá trị
salt; - join theo
(customer_id, salt).
Mỗi dòng bên lớn vẫn gặp đúng một bản của khách nên kết quả không đổi. Giá phải trả: bên nhỏ to gấp N lần, code khó đọc hơn.
4. Tách khoá nóng. Xử lý nhóm khoá nóng riêng (thường bằng broadcast hoặc một phép tính đơn giản hơn), phần còn lại join bình thường, rồi union. Tình huống giả định: tách nhóm UNKNOWN ra xử lý riêng, job từ 4 tiếng xuống 11 phút với cùng 10 executor.
flowchart LR A[skewed: C0001 = 60%] --> M[sort-merge: 1 task ôm C0001] A --> B[broadcast dim: không shuffle bên lớn] A --> S[salt 0..7: C0001 rải tối đa 8 partition] M --> R[cùng 5.336.000 dòng] B --> R S --> R
Vì sao thêm máy vô ích
Partition của C0001 chạy trên một core. Thêm executor chỉ làm 495 khoá còn lại xong sớm hơn; stage vẫn chờ task C0001. Phải chia nhỏ khoá nóng (salting, AQE) hoặc không shuffle nó (broadcast).
Trên Free Edition
- Trên serverless không tắt được AQE, nên không đo được "AQE tắt"; bước 3 ép sort-merge join bằng hint
mergeđể xem join có shuffle. So sánh "AQE bật / tắt" cần compute cổ điển. - Dữ liệu lab nhỏ (partition C0001 dưới ngưỡng 256 MB): AQE có thể không tách, và thời gian ba cách chênh ít. Đo thời gian mỗi cách vài lần và xem join có Exchange ở phía skewed hay không. Phân bố số dòng theo task chỉ xem được ở tab Stages của Spark UI trên compute cổ điển.
Lập bảng sau bài: cách chữa × thời gian × có Exchange phía skewed không × kết quả có đúng 5.336.000 dòng không (inner join bỏ 36.000 dòng mã C99999 không có trong bảng khách).
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
df.groupBy("k").count().orderBy(F.desc("count")).show(3) |
tìm khoá nóng |
big.join(dim.hint("merge"), "k") |
ép sort-merge join |
big.join(F.broadcast(dim), "k") |
broadcast bên nhỏ |
F.rand() * 8 rồi .cast("long") |
cột salt 0..7 |
Lỗi hay gặp
- Salting mà quên nhân bản bên nhỏ. Chỉ 1/N số dòng tìm được cặp, kết quả mất dữ liệu mà không báo lỗi. Luôn so số dòng với cách join thường.
- Broadcast bảng quá lớn. Driver và executor hết bộ nhớ.
- Chữa skew cho join mà bệnh nằm ở
groupBy. AQE skew join không giúp; dùng tách khoá nóng hoặc gộp hai pha. - Không đo. Salting làm code phức tạp hơn; không có số thì không biết có đáng không.