Hai cách join
| Cách | Làm gì | Khi nào |
|---|---|---|
| Sort-merge join | Shuffle cả hai bảng theo khoá, sắp xếp, rồi ghép | Hai bảng đều lớn |
| Broadcast hash join | Gửi nguyên bảng nhỏ tới mọi executor; mỗi partition của bảng lớn join tại chỗ | Một bảng đủ nhỏ để nằm trong bộ nhớ |
Broadcast bỏ được shuffle của bảng lớn, thường là phần đắt nhất. Spark tự broadcast khi ước lượng bảng nhỏ dưới ngưỡng (spark.sql.autoBroadcastJoinThreshold, mặc định 10 MB); với AQE (Adaptive Query Execution, bật trên serverless), Spark có thể đổi quyết định lúc chạy dựa trên kích thước thật. Khi chắc chắn bảng nhỏ, ép bằng F.broadcast(dim). Trong explain(), tìm BroadcastHashJoin / BroadcastExchange hay SortMergeJoin.
Bảng dimension (60 sản phẩm, 500 khách) gần như luôn nên broadcast khi join với fact.
left_anti: dòng không khớp
orders.join(customers, "customer_id", "left_anti")
Giữ các đơn không có khách tương ứng: 102 đơn mã C99999, đúng như Track 1. Gọn và rõ ý hơn left join rồi lọc IS NULL. Ngược lại, left_semi giữ các đơn có khách, không thêm cột nào của bảng phải.
Skew
Dữ liệu lệch khi một vài khoá chiếm phần lớn dòng (một khách sỉ có 40% đơn, hay khoá NULL / mã mặc định như C99999). Sau shuffle, mọi dòng của khoá đó dồn vào một task: 199 task xong trong vài giây, 1 task chạy hàng chục phút. Dấu hiệu trong Spark UI (compute cổ điển) hoặc query profile (serverless): thời gian task tối đa gấp nhiều lần trung vị, một task xử lý lượng dữ liệu vượt trội.
Thêm máy không giúp: task lệch vẫn chạy trên một core. Cách xử lý: broadcast bảng nhỏ (không shuffle thì không lệch), để AQE tự tách partition lệch (skew join), xử lý riêng khoá nóng (lọc NULL / mã mặc định trước khi join), hoặc "salting" (thêm số ngẫu nhiên vào khoá để chia nhỏ).
Window
Window.partitionBy("customer_id").orderBy(F.desc("order_ts"), "order_id")
partitionBy: không có thì mọi dòng dồn về một partition để đánh số, mất hết song song (Spark cảnh báo trong log).- Tiêu chí phá hoà: hai đơn cùng
order_tsthìorder_idquyết định, nên chạy lại vẫn chọn cùng một dòng (bài 4.2 của Track 1).
Bài đếm được 501 dòng rn = 1: 500 khách thật cộng mã C99999.
flowchart LR P[products · 60] -->|broadcast| J[join tại chỗ] O[orders · 5100] --> J O -->|left_anti| X[102 đơn mồ côi] O -->|row_number theo khách| W[501 đơn mới nhất]
Ví dụ: 6 tiếng xuống 12 phút
Tình huống giả định, thường gặp: join 5 tỷ lượt hiển thị quảng cáo với 2000 chiến dịch. Spark không ước lượng được kích thước bảng chiến dịch (đọc từ một view phức tạp) nên chọn sort-merge join, shuffle cả 5 tỷ dòng: 6 tiếng. Thêm F.broadcast(campaigns): không shuffle bảng lớn, khoảng 12 phút.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
fact.join(F.broadcast(dim), "key") |
ép broadcast bảng nhỏ |
a.join(b, "key", "left_anti") |
dòng của a không có trong b |
F.row_number().over(Window.partitionBy(...).orderBy(...)) |
đánh số trong từng nhóm |
df.explain() |
xem BroadcastHashJoin / SortMergeJoin |
Lỗi hay gặp
- Broadcast bảng không nhỏ: driver và executor hết bộ nhớ.
- Thêm máy để chữa skew.
- Window không có
partitionBytrên dữ liệu lớn. - ORDER BY trong window không phá hoà: chạy lại chọn dòng khác.