DataOps Peach

Lakehouse Engineering · Spark và PySpark · Bài 2/6

Spark hoạt động thế nào

Driver, executor, partition, transformation và action. Spark nhanh vì thấy toàn bộ kế hoạch trước khi chạy, và chậm khi bạn bắt nó chạy từng bước.

Học tương tác →

Từ MapReduce tới Spark

Hadoop MapReduce xử lý dữ liệu lớn bằng cách chia việc cho nhiều máy, nhưng ghi kết quả xuống đĩa sau mỗi bước. Pipeline 10 bước là 10 lần ghi đọc đĩa. Spark giữ dữ liệu trung gian trong bộ nhớ khi có thể, và quan trọng hơn: nhìn cả chuỗi bước như một đồ thị (DAG) trước khi chạy, nên gộp được các bước, bỏ việc thừa, đọc ít dữ liệu hơn. RAM là điều kiện; kế hoạch tổng thể mới là lý do chính.

Driver, executor, partition

Thành phần Vai trò
Driver Chạy code của bạn, dựng kế hoạch, chia việc thành task
Executor Tiến trình trên các máy, chạy task song song
Partition Một phần dữ liệu; mỗi task xử lý một partition

Số partition quyết định độ song song: 200 core mà dữ liệu chỉ có 1 partition thì 199 core ngồi chơi. Bài đếm được 1 partition cho file 375 KB: file rất nhỏ nên Spark không chia (ngưỡng chia file vào khoảng vài MB tới 128 MB tuỳ cấu hình). Với serverless, bạn không thấy máy, nhưng partition vẫn là đơn vị song song.

Transformation và action

Đây là lazy evaluation. Trong bài: spark.read...csv(...), filter, select đều trả về ngay; chỉ tới df2.count() Spark mới đọc file, lọc và đếm (1836 dòng có status đúng chữ 'completed'; dữ liệu thô còn các biến thể hoa thường và dấu cách mà Track 1 đã làm sạch).

flowchart LR
  R[read csv] --> F[filter] --> S[select]
  S -->|count = action| E[executor chạy cả chuỗi]

Khác pandas: mỗi dòng pandas chạy ngay và giữ kết quả trong bộ nhớ. Spark không giữ kết quả của action trước: df.count() lần hai đọc lại file từ đầu.

Ví dụ: dịch nguyên xi từ pandas

Tình huống giả định: một bạn dịch notebook pandas sang PySpark từng dòng, giữ nguyên ba lệnh print(df.count()) sau mỗi bước để "kiểm tra". Mỗi count() là một action, nên Spark đọc và xử lý lại toàn bộ file ba lần. Trên dữ liệu nhỏ, phiên bản PySpark còn chậm hơn bản pandas gốc. Bỏ ba lệnh kiểm tra, chỉ giữ action cuối (ghi bảng), job nhanh gấp nhiều lần.

Lệnh hay dùng

Lệnh Loại Để làm gì
spark.read.option("header", True).csv(path) transformation khai báo đọc CSV
df.filter(...), df.select(...) transformation thêm bước vào kế hoạch
df.count(), display(df), df.write... action chạy kế hoạch
df.select(F.spark_partition_id()).distinct().count() action đếm số partition (chạy được trên serverless)

F là pyspark.sql.functions (from pyspark.sql import functions as F). Compute serverless không hỗ trợ API RDD (df.rdd...), nên bài đếm partition bằng hàm spark_partition_id().

Lỗi hay gặp

Học tương tác →