DataOps Peach

Lakehouse Engineering · Spark và PySpark · Bài 6/6

Spark SQL hay DataFrame

SQL và DataFrame API đi qua cùng bộ tối ưu Catalyst nên cho cùng kế hoạch. Chọn theo ai đọc, code sống bao lâu và có cần test, không theo tốc độ.

Học tương tác →

Từ Hive tới Spark SQL

Hive (2010) cho phép viết SQL trên Hadoop bằng cách dịch SQL thành các job MapReduce. Spark SQL làm việc tương tự nhưng dịch sang kế hoạch Spark (DAG) chạy trong bộ nhớ. Thứ còn lại từ thời Hive là metastore (danh mục bảng); trên Databricks vai trò đó giờ là Unity Catalog.

Cùng một kế hoạch

SELECT coalesce(nullif(trim(channel), ''), 'unknown') AS channel, count(*) AS total,
       count_if(lower(trim(status)) = 'cancelled') AS cancelled
FROM workspace.de.orders GROUP BY 1
(spark.table("workspace.de.orders")
   .groupBy(F.coalesce(F.nullif(F.trim("channel"), F.lit("")), F.lit("unknown")).alias("channel"))
   .agg(F.count("*").alias("total"),
        F.count_if(F.lower(F.trim("status")) == "cancelled").alias("cancelled")))

Cả hai đi qua Catalyst → cùng kế hoạch vật lý (bài so EXPLAIN của SQL với explain() của DataFrame). Vậy câu hỏi "cái nào nhanh hơn?" có câu trả lời: không cái nào.

flowchart LR
  S[SQL] --> C[Catalyst]
  D[DataFrame API] --> C
  C --> P[cùng kế hoạch vật lý]

Chọn theo kỹ nghệ phần mềm

Tiêu chí Nghiêng về SQL Nghiêng về DataFrame
Ai đọc / sửa Analyst, người quen SQL Kỹ sư, người viết Python
Logic Truy vấn, tổng hợp rõ ràng Logic có điều kiện, lặp qua danh sách cột, dùng lại
Test Khó tách phần nhỏ để test Hàm Python thuần, test bằng pytest (Track 3)
Sống bao lâu Báo cáo, phân tích một lần Pipeline chạy nhiều năm

Trộn cả hai trong một pipeline là bình thường: spark.sql(...) trả về DataFrame, và DataFrame có thể đăng ký thành view để SQL đọc.

Tách logic thành hàm thuần: một hàm nhận DataFrame và trả DataFrame (def cancel_rate(orders): return orders.groupBy(...)...), không đọc file, không ghi bảng bên trong. Hàm như vậy test được với dữ liệu nhỏ dựng tay; Track 3 dùng lại ý này.

SQL trong f-string là cái bẫy

Tình huống giả định, thường gặp: pipeline 4000 dòng SQL ghép bằng f-string Python (f"SELECT ... WHERE region = '{region}'"). Không ai test được từng phần; một giá trị có dấu nháy làm vỡ câu truy vấn; giá trị đến từ người dùng thì thành lỗ hổng SQL injection. Dùng tham số (spark.sql("... WHERE region = :region", args={"region": region})) hoặc DataFrame API.

Bảng gold trong Unity Catalog

CREATE OR REPLACE TABLE workspace.de.gold_cancel_rate AS ... ghi một bảng Delta, kiểu managed (Unity Catalog quản lý cả dữ liệu lẫn metadata). databricks tables get xem được định dạng, kiểu bảng, cột mà không cần mở notebook. Module 02 mở bên trong bảng Delta.

Số trong bài tính trên dữ liệu thô (còn 80 dòng trùng), nên mỗi kênh nhiều hơn bảng gold của Track 1 vài chục đơn; kênh thiếu (unknown) có 140 đơn như Track 1: 68 ô rỗng và 72 ô chỉ có một dấu cách. Không có nullif(trim(...)), Spark giữ dấu cách và tách thành một nhóm " " riêng.

Lệnh hay dùng

Lệnh Để làm gì
spark.sql("SELECT ...") chạy SQL trong notebook, trả về DataFrame
spark.table("catalog.schema.table") đọc bảng thành DataFrame
count_if(<điều kiện>) / F.count_if(...) đếm dòng thoả điều kiện
databricks tables get <catalog>.<schema>.<table> xem thông tin bảng bằng CLI

Lỗi hay gặp

Học tương tác →