DataOps Peach

Lakehouse Engineering · Spark và PySpark · Bài 4/6

DataFrame API thay pandas

Dịch pipeline làm sạch của Track 1 sang PySpark DataFrame API. Mô tả ý định bằng hàm có sẵn để Catalyst tối ưu được, và tránh UDF Python.

Học tương tác →

DataFrame mô tả ý định

Spark có hai lớp API. RDD với hàm lambda là hộp đen: Spark không biết bên trong hàm làm gì nên không tối ưu được. DataFrame mô tả ý định bằng biểu thức (F.col("price") * 2, F.lower("status")), nên Catalyst đọc được, đẩy filter xuống, bỏ cột thừa, sinh code chạy nhanh. Compute serverless chỉ hỗ trợ DataFrame / SQL.

Ba khác biệt với pandas:

Bảng dịch

Việc pandas PySpark
Lọc df[df.status == "x"] df.filter(F.col("status") == "x")
Thêm cột df["r"] = df.q * df.p df.withColumn("r", F.col("q") * F.col("p"))
Thay chuỗi s.str.replace(",", "") F.regexp_replace("s", ",", "")
Ép kiểu an toàn pd.to_numeric(s, errors="coerce") F.col("s").try_cast("decimal(18,2)")
Đọc ngày pd.to_datetime(s, format=...) F.try_to_timestamp("s", F.lit("yyyy-MM-dd HH:mm:ss"))
Gom nhóm df.groupby("k").agg(...) df.groupBy("k").agg(F.sum(...))

Hàm hay dùng: when / otherwise, coalesce, regexp_replace, trim, lower, try_to_timestamp.

Chế độ ANSI: Databricks serverless bật ANSI SQL, nên cast một chuỗi không hợp lệ sẽ ném lỗi thay vì trả NULL. Với dữ liệu bẩn, dùng try_cast, try_to_timestamp: trả NULL, và bạn đếm NULL như Track 1.

Cùng quy tắc, cùng kết quả

Bài dùng đúng quy tắc của Track 1: bỏ , và VND rồi ép kiểu → 305 giá NULL, khớp DuckDB. Ba định dạng ngày phủ hết dữ liệu (0 NULL). Công cụ đổi, logic giữ nguyên thì con số giữ nguyên.

Cẩn thận với quy tắc "dễ dãi" như regexp_replace(price, "[^0-9]", "") (xoá mọi ký tự không phải số): "0.0.0" thành 0, "1.250.000đ" thành 1250000. Ít NULL hơn (242) nhưng có 33 đơn giá 0 đồng, một lỗi im lặng thay cho một lỗi nhìn thấy được.

flowchart LR
  R[CSV · chuỗi] --> P[regexp_replace + try_cast]
  R --> T[coalesce try_to_timestamp × 3]
  R --> S[lower trim status]
  P --> A[groupBy + sum]
  T --> A
  S --> A

Tránh UDF Python

UDF (@F.udf) chạy code Python từng dòng: Spark phải chuyển dữ liệu từ JVM sang tiến trình Python và ngược lại, Catalyst không nhìn vào được bên trong. Gần như mọi phép làm sạch đều có hàm có sẵn. Bắt buộc phải viết Python (thư viện riêng, logic phức tạp) thì dùng Pandas UDF (vector hoá, xử lý theo lô bằng Arrow), không dùng UDF từng dòng.

Ví dụ: số điện thoại

Tình huống giả định, thường gặp: chuẩn hoá số điện thoại cho 200 triệu dòng bằng một UDF Python chạy khoảng 4 tiếng. Viết lại bằng regexp_replace và when, job xong trong khoảng 11 phút, vì toàn bộ chạy trong engine, không qua lại Python.

Lệnh hay dùng

Lệnh Để làm gì
from pyspark.sql import functions as F thư viện hàm
df.withColumn("c", <biểu thức>) thêm / thay cột
F.col("s").try_cast("decimal(18,2)") ép kiểu, lỗi thành NULL
F.coalesce(F.try_to_timestamp(...), ...) đọc nhiều định dạng ngày
df.groupBy("k").agg(F.sum(...).alias("x")) gom nhóm

Lỗi hay gặp

Học tương tác →