Narrow và wide
| Loại | Ví dụ | Dữ liệu có phải di chuyển? |
|---|---|---|
| Narrow | filter, select, withColumn |
Không: mỗi partition tự xử lý phần của nó |
| Wide | groupBy, join, distinct, orderBy |
Có: dòng cùng khoá phải về cùng một chỗ |
Việc di chuyển đó là shuffle: ghi dữ liệu trung gian, gửi qua mạng giữa các executor, đọc lại. Phần lớn vấn đề hiệu năng của Spark là shuffle: quá nhiều, quá lớn, hoặc lệch (bài 1.5). Mỗi shuffle là một ranh giới stage: stage sau phải đợi stage trước xong.
Đọc EXPLAIN
EXPLAIN (SQL) hay df.explain() (PySpark) in kế hoạch vật lý: đọc từ dưới lên, dưới cùng là bước quét dữ liệu. Ba thứ cần tìm:
PushedFilters: điều kiện lọc được đẩy xuống lớp quét (predicate pushdown). Với Parquet / Delta, lớp quét dùng min/max của từng khối để bỏ qua khối không thể khớp.ReadSchema: chỉ những cột câu truy vấn cần (column pruning). Bài chỉ đọcorder_idvàstatus, không đọc 6 cột còn lại.Exchange: chỗ có shuffle.Exchange hashpartitioning(status, ...)nghĩa là chia lại dữ liệu theostatus.
Trên Databricks serverless, các node có tên Photon (engine viết bằng C++ của Databricks) thay vì tên Spark gốc, nhưng ý nghĩa giống nhau. Output mẫu trong bài là bản rút gọn.
flowchart BT S[Scan · 2 cột · PushedFilters] --> P[Partial aggregate] P --> E[Exchange · shuffle] E --> A[Final aggregate]
Catalyst sắp lại cho bạn
Viết SELECT ... WHERE hay lọc trong subquery sau khi chọn cột: kế hoạch giống hệt. Bộ tối ưu Catalyst đẩy filter xuống sớm nhất, bỏ cột không dùng, gộp các bước. Vì vậy đừng tốn công "tối ưu" thứ tự filter/select bằng tay; hãy đọc EXPLAIN để biết Spark thật sự làm gì.
GROUP BY trong bài có hai bước aggregate: mỗi partition đếm cục bộ trước (partial_count), rồi mới shuffle các con số đã gộp, nên lượng dữ liệu đi qua mạng nhỏ hơn nhiều so với gửi mọi dòng.
Ví dụ: hiện 5 dòng
Tình huống giả định: một bảng 5 triệu dòng, câu truy vấn hiện 5 đơn completed đầu tiên. Nếu thực hiện tuần tự "đọc hết → lọc → lấy 5", phải đọc 5 triệu dòng. Spark đẩy filter xuống lớp quét, đọc theo khối, và dừng khi đã đủ 5 dòng.
Kết quả GROUP BY của bài cũng nhắc lại Track 1: dữ liệu thô có 9 cách viết status (completed, Completed, COMPLETED, completed...). WHERE status = 'completed' chỉ khớp 1836 dòng.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
CREATE OR REPLACE TABLE ... AS SELECT * FROM read_files('<path>', format => 'csv', header => true, schema => '<cột> STRING, ...') |
ghi file trong volume thành bảng Delta, schema tường minh |
EXPLAIN SELECT ... / EXPLAIN FORMATTED SELECT ... |
xem kế hoạch vật lý |
df.explain() / df.explain(True) |
như trên, trong PySpark (True: cả các kế hoạch logic) |
Lỗi hay gặp
- Đọc kế hoạch từ trên xuống rồi hiểu ngược thứ tự.
- Tưởng thứ tự viết filter/select quyết định hiệu năng: Catalyst sắp lại.
- Không thấy
Exchangetrong câu cóDISTINCThayORDER BY: chúng cũng là wide.