Từ MapReduce tới Spark
Hadoop MapReduce xử lý dữ liệu lớn bằng cách chia việc cho nhiều máy, nhưng ghi kết quả xuống đĩa sau mỗi bước. Pipeline 10 bước là 10 lần ghi đọc đĩa. Spark giữ dữ liệu trung gian trong bộ nhớ khi có thể, và quan trọng hơn: nhìn cả chuỗi bước như một đồ thị (DAG) trước khi chạy, nên gộp được các bước, bỏ việc thừa, đọc ít dữ liệu hơn. RAM là điều kiện; kế hoạch tổng thể mới là lý do chính.
Driver, executor, partition
| Thành phần | Vai trò |
|---|---|
| Driver | Chạy code của bạn, dựng kế hoạch, chia việc thành task |
| Executor | Tiến trình trên các máy, chạy task song song |
| Partition | Một phần dữ liệu; mỗi task xử lý một partition |
Số partition quyết định độ song song: 200 core mà dữ liệu chỉ có 1 partition thì 199 core ngồi chơi. Bài đếm được 1 partition cho file 375 KB: file rất nhỏ nên Spark không chia (ngưỡng chia file vào khoảng vài MB tới 128 MB tuỳ cấu hình). Với serverless, bạn không thấy máy, nhưng partition vẫn là đơn vị song song.
Transformation và action
- Transformation (
filter,select,withColumn,join,groupBy): trả về DataFrame mới, chỉ thêm bước vào kế hoạch, không chạy gì. - Action (
count,show,collect,write,display): kích hoạt việc thực thi cả kế hoạch.
Đây là lazy evaluation. Trong bài: spark.read...csv(...), filter, select đều trả về ngay; chỉ tới df2.count() Spark mới đọc file, lọc và đếm (1836 dòng có status đúng chữ 'completed'; dữ liệu thô còn các biến thể hoa thường và dấu cách mà Track 1 đã làm sạch).
flowchart LR R[read csv] --> F[filter] --> S[select] S -->|count = action| E[executor chạy cả chuỗi]
Khác pandas: mỗi dòng pandas chạy ngay và giữ kết quả trong bộ nhớ. Spark không giữ kết quả của action trước: df.count() lần hai đọc lại file từ đầu.
Ví dụ: dịch nguyên xi từ pandas
Tình huống giả định: một bạn dịch notebook pandas sang PySpark từng dòng, giữ nguyên ba lệnh print(df.count()) sau mỗi bước để "kiểm tra". Mỗi count() là một action, nên Spark đọc và xử lý lại toàn bộ file ba lần. Trên dữ liệu nhỏ, phiên bản PySpark còn chậm hơn bản pandas gốc. Bỏ ba lệnh kiểm tra, chỉ giữ action cuối (ghi bảng), job nhanh gấp nhiều lần.
Lệnh hay dùng
| Lệnh | Loại | Để làm gì |
|---|---|---|
spark.read.option("header", True).csv(path) |
transformation | khai báo đọc CSV |
df.filter(...), df.select(...) |
transformation | thêm bước vào kế hoạch |
df.count(), display(df), df.write... |
action | chạy kế hoạch |
df.select(F.spark_partition_id()).distinct().count() |
action | đếm số partition (chạy được trên serverless) |
F là pyspark.sql.functions (from pyspark.sql import functions as F). Compute serverless không hỗ trợ API RDD (df.rdd...), nên bài đếm partition bằng hàm spark_partition_id().
Lỗi hay gặp
- Gọi
count()/show()sau mỗi bước "cho chắc": mỗi lần là một lần chạy lại. - Nghĩ lệnh đọc file đã đọc dữ liệu: lỗi giá trị (ép kiểu trên ANSI, dữ liệu hỏng) chỉ lộ ra ở action; lỗi đường dẫn, tên cột thì thường báo sớm, lúc Spark phân tích kế hoạch.
- Không để ý số partition: dữ liệu lớn mà ít partition thì không song song được.