DataFrame mô tả ý định
Spark có hai lớp API. RDD với hàm lambda là hộp đen: Spark không biết bên trong hàm làm gì nên không tối ưu được. DataFrame mô tả ý định bằng biểu thức (F.col("price") * 2, F.lower("status")), nên Catalyst đọc được, đẩy filter xuống, bỏ cột thừa, sinh code chạy nhanh. Compute serverless chỉ hỗ trợ DataFrame / SQL.
Ba khác biệt với pandas:
- Không có index. Không có
df.loc[3]; dòng không có thứ tự cố định. - Bất biến. Mỗi
withColumntrả về DataFrame mới; gán lại vào biến (clean = clean.withColumn(...)). F.col("x")là biểu thức, không phải dữ liệu. Nó chỉ được tính khi có action.
Bảng dịch
| Việc | pandas | PySpark |
|---|---|---|
| Lọc | df[df.status == "x"] |
df.filter(F.col("status") == "x") |
| Thêm cột | df["r"] = df.q * df.p |
df.withColumn("r", F.col("q") * F.col("p")) |
| Thay chuỗi | s.str.replace(",", "") |
F.regexp_replace("s", ",", "") |
| Ép kiểu an toàn | pd.to_numeric(s, errors="coerce") |
F.col("s").try_cast("decimal(18,2)") |
| Đọc ngày | pd.to_datetime(s, format=...) |
F.try_to_timestamp("s", F.lit("yyyy-MM-dd HH:mm:ss")) |
| Gom nhóm | df.groupby("k").agg(...) |
df.groupBy("k").agg(F.sum(...)) |
Hàm hay dùng: when / otherwise, coalesce, regexp_replace, trim, lower, try_to_timestamp.
Chế độ ANSI: Databricks serverless bật ANSI SQL, nên cast một chuỗi không hợp lệ sẽ ném lỗi thay vì trả NULL. Với dữ liệu bẩn, dùng try_cast, try_to_timestamp: trả NULL, và bạn đếm NULL như Track 1.
Cùng quy tắc, cùng kết quả
Bài dùng đúng quy tắc của Track 1: bỏ , và VND rồi ép kiểu → 305 giá NULL, khớp DuckDB. Ba định dạng ngày phủ hết dữ liệu (0 NULL). Công cụ đổi, logic giữ nguyên thì con số giữ nguyên.
Cẩn thận với quy tắc "dễ dãi" như regexp_replace(price, "[^0-9]", "") (xoá mọi ký tự không phải số): "0.0.0" thành 0, "1.250.000đ" thành 1250000. Ít NULL hơn (242) nhưng có 33 đơn giá 0 đồng, một lỗi im lặng thay cho một lỗi nhìn thấy được.
flowchart LR R[CSV · chuỗi] --> P[regexp_replace + try_cast] R --> T[coalesce try_to_timestamp × 3] R --> S[lower trim status] P --> A[groupBy + sum] T --> A S --> A
Tránh UDF Python
UDF (@F.udf) chạy code Python từng dòng: Spark phải chuyển dữ liệu từ JVM sang tiến trình Python và ngược lại, Catalyst không nhìn vào được bên trong. Gần như mọi phép làm sạch đều có hàm có sẵn. Bắt buộc phải viết Python (thư viện riêng, logic phức tạp) thì dùng Pandas UDF (vector hoá, xử lý theo lô bằng Arrow), không dùng UDF từng dòng.
Ví dụ: số điện thoại
Tình huống giả định, thường gặp: chuẩn hoá số điện thoại cho 200 triệu dòng bằng một UDF Python chạy khoảng 4 tiếng. Viết lại bằng regexp_replace và when, job xong trong khoảng 11 phút, vì toàn bộ chạy trong engine, không qua lại Python.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
from pyspark.sql import functions as F |
thư viện hàm |
df.withColumn("c", <biểu thức>) |
thêm / thay cột |
F.col("s").try_cast("decimal(18,2)") |
ép kiểu, lỗi thành NULL |
F.coalesce(F.try_to_timestamp(...), ...) |
đọc nhiều định dạng ngày |
df.groupBy("k").agg(F.sum(...).alias("x")) |
gom nhóm |
Lỗi hay gặp
- Viết UDF cho việc có hàm sẵn.
- Dùng
castvới dữ liệu bẩn trên ANSI: job lỗi ở dòng bẩn đầu tiên. - Quên gán lại:
clean.withColumn(...)mà khôngclean = ...thì không có gì đổi. - Quy tắc làm sạch quá dễ dãi biến lỗi nhìn thấy được thành số sai.