DataOps Peach

DataOps Platform · Hiệu năng · Bài 2/4

Skew và cách chữa

Skew là khi một khoá ôm phần lớn dữ liệu và một task phải làm gần hết việc. Bốn cách chữa (AQE, broadcast, salting, tách khoá nóng), mỗi cách có giá của nó, và phải đo từng cách.

Học tương tác →

Skew là gì

Join và groupBy chia dữ liệu theo khoá: mọi dòng cùng khoá về cùng một partition. Khi một khoá ôm phần lớn dữ liệu, partition của nó to gấp hàng trăm lần các partition khác và task của nó chạy mãi trong khi các task khác đã xong. Đó là skew (lệch dữ liệu).

Khoá nóng hay gặp: UNKNOWN, NULL, chuỗi rỗng, khách "khách lẻ", một sản phẩm bán chạy, một ngày khuyến mãi.

Trong bài, ta tạo skew: mọi đơn có order_id tận cùng 0–5 bị đổi thành khách C0001. Dữ liệu nhân 1000 lần (như bài 2.1) thì C0001 có 3.229.000 trên 5.372.000 dòng (60%), trong khi median chỉ 4.000 dòng mỗi khoá. Dùng chữ số cuối thay rand() để ai chạy cũng ra cùng số.

Nhận ra skew: trong Spark UI, max task >> median (bài 2.1); hoặc đếm dòng theo khoá như bước 2 của bài.

Bốn cách chữa

1. AQE skew join. Với sort-merge join (và shuffled hash join từ Spark 3.3), AQE (spark.sql.adaptive.skewJoin.enabled, bật mặc định) tách partition bị skew thành nhiều task nhỏ, nhân bản phần tương ứng bên kia. Không phải sửa code. Nhưng chỉ tách khi partition vừa lớn hơn 5 lần median vừa vượt ngưỡng kích thước (mặc định 256 MB), và chỉ áp cho join, không cho groupBy hay window.

2. Broadcast bên nhỏ. Bên nhỏ (bảng khách 500 dòng) được gửi nguyên tới mọi executor; bên lớn không shuffle nên không có partition nào bị dồn. Đủ khi bên nhỏ thật sự nhỏ (vài chục, vài trăm MB). Bảng hàng chục GB thì không broadcast được.

3. Salting. Khi cả hai bên đều lớn:

Mỗi dòng bên lớn vẫn gặp đúng một bản của khách nên kết quả không đổi. Giá phải trả: bên nhỏ to gấp N lần, code khó đọc hơn.

4. Tách khoá nóng. Xử lý nhóm khoá nóng riêng (thường bằng broadcast hoặc một phép tính đơn giản hơn), phần còn lại join bình thường, rồi union. Tình huống giả định: tách nhóm UNKNOWN ra xử lý riêng, job từ 4 tiếng xuống 11 phút với cùng 10 executor.

flowchart LR
  A[skewed: C0001 = 60%] --> M[sort-merge: 1 task ôm C0001]
  A --> B[broadcast dim: không shuffle bên lớn]
  A --> S[salt 0..7: C0001 rải tối đa 8 partition]
  M --> R[cùng 5.336.000 dòng]
  B --> R
  S --> R

Vì sao thêm máy vô ích

Partition của C0001 chạy trên một core. Thêm executor chỉ làm 495 khoá còn lại xong sớm hơn; stage vẫn chờ task C0001. Phải chia nhỏ khoá nóng (salting, AQE) hoặc không shuffle nó (broadcast).

Trên Free Edition

Lập bảng sau bài: cách chữa × thời gian × có Exchange phía skewed không × kết quả có đúng 5.336.000 dòng không (inner join bỏ 36.000 dòng mã C99999 không có trong bảng khách).

Lệnh hay dùng

Lệnh Để làm gì
df.groupBy("k").count().orderBy(F.desc("count")).show(3) tìm khoá nóng
big.join(dim.hint("merge"), "k") ép sort-merge join
big.join(F.broadcast(dim), "k") broadcast bên nhỏ
F.rand() * 8 rồi .cast("long") cột salt 0..7

Lỗi hay gặp

Học tương tác →