DataOps Peach

Lakehouse Engineering · Spark và PySpark · Bài 3/6

Shuffle và đọc kế hoạch thực thi

Narrow và wide transformation, shuffle là gì và vì sao nó đắt, và cách đọc EXPLAIN để thấy Spark đẩy filter xuống, chỉ đọc cột cần, và chỗ nào dữ liệu phải di chuyển.

Học tương tác →

Narrow và wide

Loại Ví dụ Dữ liệu có phải di chuyển?
Narrow filter, select, withColumn Không: mỗi partition tự xử lý phần của nó
Wide groupBy, join, distinct, orderBy Có: dòng cùng khoá phải về cùng một chỗ

Việc di chuyển đó là shuffle: ghi dữ liệu trung gian, gửi qua mạng giữa các executor, đọc lại. Phần lớn vấn đề hiệu năng của Spark là shuffle: quá nhiều, quá lớn, hoặc lệch (bài 1.5). Mỗi shuffle là một ranh giới stage: stage sau phải đợi stage trước xong.

Đọc EXPLAIN

EXPLAIN (SQL) hay df.explain() (PySpark) in kế hoạch vật lý: đọc từ dưới lên, dưới cùng là bước quét dữ liệu. Ba thứ cần tìm:

Trên Databricks serverless, các node có tên Photon (engine viết bằng C++ của Databricks) thay vì tên Spark gốc, nhưng ý nghĩa giống nhau. Output mẫu trong bài là bản rút gọn.

flowchart BT
  S[Scan · 2 cột · PushedFilters] --> P[Partial aggregate]
  P --> E[Exchange · shuffle]
  E --> A[Final aggregate]

Catalyst sắp lại cho bạn

Viết SELECT ... WHERE hay lọc trong subquery sau khi chọn cột: kế hoạch giống hệt. Bộ tối ưu Catalyst đẩy filter xuống sớm nhất, bỏ cột không dùng, gộp các bước. Vì vậy đừng tốn công "tối ưu" thứ tự filter/select bằng tay; hãy đọc EXPLAIN để biết Spark thật sự làm gì.

GROUP BY trong bài có hai bước aggregate: mỗi partition đếm cục bộ trước (partial_count), rồi mới shuffle các con số đã gộp, nên lượng dữ liệu đi qua mạng nhỏ hơn nhiều so với gửi mọi dòng.

Ví dụ: hiện 5 dòng

Tình huống giả định: một bảng 5 triệu dòng, câu truy vấn hiện 5 đơn completed đầu tiên. Nếu thực hiện tuần tự "đọc hết → lọc → lấy 5", phải đọc 5 triệu dòng. Spark đẩy filter xuống lớp quét, đọc theo khối, và dừng khi đã đủ 5 dòng.

Kết quả GROUP BY của bài cũng nhắc lại Track 1: dữ liệu thô có 9 cách viết status (completed, Completed, COMPLETED, completed...). WHERE status = 'completed' chỉ khớp 1836 dòng.

Lệnh hay dùng

Lệnh Để làm gì
CREATE OR REPLACE TABLE ... AS SELECT * FROM read_files('<path>', format => 'csv', header => true, schema => '<cột> STRING, ...') ghi file trong volume thành bảng Delta, schema tường minh
EXPLAIN SELECT ... / EXPLAIN FORMATTED SELECT ... xem kế hoạch vật lý
df.explain() / df.explain(True) như trên, trong PySpark (True: cả các kế hoạch logic)

Lỗi hay gặp

Học tương tác →