DataOps Peach

Lakehouse Engineering · Spark và PySpark · Bài 5/6

Join, broadcast, skew, window

Hai cách Spark join hai bảng và khi nào nên broadcast; left_anti để tìm dòng mồ côi; skew làm một task chạy mãi; và Window cần partitionBy cùng tiêu chí phá hoà.

Học tương tác →

Hai cách join

Cách Làm gì Khi nào
Sort-merge join Shuffle cả hai bảng theo khoá, sắp xếp, rồi ghép Hai bảng đều lớn
Broadcast hash join Gửi nguyên bảng nhỏ tới mọi executor; mỗi partition của bảng lớn join tại chỗ Một bảng đủ nhỏ để nằm trong bộ nhớ

Broadcast bỏ được shuffle của bảng lớn, thường là phần đắt nhất. Spark tự broadcast khi ước lượng bảng nhỏ dưới ngưỡng (spark.sql.autoBroadcastJoinThreshold, mặc định 10 MB); với AQE (Adaptive Query Execution, bật trên serverless), Spark có thể đổi quyết định lúc chạy dựa trên kích thước thật. Khi chắc chắn bảng nhỏ, ép bằng F.broadcast(dim). Trong explain(), tìm BroadcastHashJoin / BroadcastExchange hay SortMergeJoin.

Bảng dimension (60 sản phẩm, 500 khách) gần như luôn nên broadcast khi join với fact.

left_anti: dòng không khớp

orders.join(customers, "customer_id", "left_anti")

Giữ các đơn không có khách tương ứng: 102 đơn mã C99999, đúng như Track 1. Gọn và rõ ý hơn left join rồi lọc IS NULL. Ngược lại, left_semi giữ các đơn có khách, không thêm cột nào của bảng phải.

Skew

Dữ liệu lệch khi một vài khoá chiếm phần lớn dòng (một khách sỉ có 40% đơn, hay khoá NULL / mã mặc định như C99999). Sau shuffle, mọi dòng của khoá đó dồn vào một task: 199 task xong trong vài giây, 1 task chạy hàng chục phút. Dấu hiệu trong Spark UI (compute cổ điển) hoặc query profile (serverless): thời gian task tối đa gấp nhiều lần trung vị, một task xử lý lượng dữ liệu vượt trội.

Thêm máy không giúp: task lệch vẫn chạy trên một core. Cách xử lý: broadcast bảng nhỏ (không shuffle thì không lệch), để AQE tự tách partition lệch (skew join), xử lý riêng khoá nóng (lọc NULL / mã mặc định trước khi join), hoặc "salting" (thêm số ngẫu nhiên vào khoá để chia nhỏ).

Window

Window.partitionBy("customer_id").orderBy(F.desc("order_ts"), "order_id")

Bài đếm được 501 dòng rn = 1: 500 khách thật cộng mã C99999.

flowchart LR
  P[products · 60] -->|broadcast| J[join tại chỗ]
  O[orders · 5100] --> J
  O -->|left_anti| X[102 đơn mồ côi]
  O -->|row_number theo khách| W[501 đơn mới nhất]

Ví dụ: 6 tiếng xuống 12 phút

Tình huống giả định, thường gặp: join 5 tỷ lượt hiển thị quảng cáo với 2000 chiến dịch. Spark không ước lượng được kích thước bảng chiến dịch (đọc từ một view phức tạp) nên chọn sort-merge join, shuffle cả 5 tỷ dòng: 6 tiếng. Thêm F.broadcast(campaigns): không shuffle bảng lớn, khoảng 12 phút.

Lệnh hay dùng

Lệnh Để làm gì
fact.join(F.broadcast(dim), "key") ép broadcast bảng nhỏ
a.join(b, "key", "left_anti") dòng của a không có trong b
F.row_number().over(Window.partitionBy(...).orderBy(...)) đánh số trong từng nhóm
df.explain() xem BroadcastHashJoin / SortMergeJoin

Lỗi hay gặp

Học tương tác →