Từ Hive tới Spark SQL
Hive (2010) cho phép viết SQL trên Hadoop bằng cách dịch SQL thành các job MapReduce. Spark SQL làm việc tương tự nhưng dịch sang kế hoạch Spark (DAG) chạy trong bộ nhớ. Thứ còn lại từ thời Hive là metastore (danh mục bảng); trên Databricks vai trò đó giờ là Unity Catalog.
Cùng một kế hoạch
SELECT coalesce(nullif(trim(channel), ''), 'unknown') AS channel, count(*) AS total,
count_if(lower(trim(status)) = 'cancelled') AS cancelled
FROM workspace.de.orders GROUP BY 1
(spark.table("workspace.de.orders")
.groupBy(F.coalesce(F.nullif(F.trim("channel"), F.lit("")), F.lit("unknown")).alias("channel"))
.agg(F.count("*").alias("total"),
F.count_if(F.lower(F.trim("status")) == "cancelled").alias("cancelled")))
Cả hai đi qua Catalyst → cùng kế hoạch vật lý (bài so EXPLAIN của SQL với explain() của DataFrame). Vậy câu hỏi "cái nào nhanh hơn?" có câu trả lời: không cái nào.
flowchart LR S[SQL] --> C[Catalyst] D[DataFrame API] --> C C --> P[cùng kế hoạch vật lý]
Chọn theo kỹ nghệ phần mềm
| Tiêu chí | Nghiêng về SQL | Nghiêng về DataFrame |
|---|---|---|
| Ai đọc / sửa | Analyst, người quen SQL | Kỹ sư, người viết Python |
| Logic | Truy vấn, tổng hợp rõ ràng | Logic có điều kiện, lặp qua danh sách cột, dùng lại |
| Test | Khó tách phần nhỏ để test | Hàm Python thuần, test bằng pytest (Track 3) |
| Sống bao lâu | Báo cáo, phân tích một lần | Pipeline chạy nhiều năm |
Trộn cả hai trong một pipeline là bình thường: spark.sql(...) trả về DataFrame, và DataFrame có thể đăng ký thành view để SQL đọc.
Tách logic thành hàm thuần: một hàm nhận DataFrame và trả DataFrame (def cancel_rate(orders): return orders.groupBy(...)...), không đọc file, không ghi bảng bên trong. Hàm như vậy test được với dữ liệu nhỏ dựng tay; Track 3 dùng lại ý này.
SQL trong f-string là cái bẫy
Tình huống giả định, thường gặp: pipeline 4000 dòng SQL ghép bằng f-string Python (f"SELECT ... WHERE region = '{region}'"). Không ai test được từng phần; một giá trị có dấu nháy làm vỡ câu truy vấn; giá trị đến từ người dùng thì thành lỗ hổng SQL injection. Dùng tham số (spark.sql("... WHERE region = :region", args={"region": region})) hoặc DataFrame API.
Bảng gold trong Unity Catalog
CREATE OR REPLACE TABLE workspace.de.gold_cancel_rate AS ... ghi một bảng Delta, kiểu managed (Unity Catalog quản lý cả dữ liệu lẫn metadata). databricks tables get xem được định dạng, kiểu bảng, cột mà không cần mở notebook. Module 02 mở bên trong bảng Delta.
Số trong bài tính trên dữ liệu thô (còn 80 dòng trùng), nên mỗi kênh nhiều hơn bảng gold của Track 1 vài chục đơn; kênh thiếu (unknown) có 140 đơn như Track 1: 68 ô rỗng và 72 ô chỉ có một dấu cách. Không có nullif(trim(...)), Spark giữ dấu cách và tách thành một nhóm " " riêng.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
spark.sql("SELECT ...") |
chạy SQL trong notebook, trả về DataFrame |
spark.table("catalog.schema.table") |
đọc bảng thành DataFrame |
count_if(<điều kiện>) / F.count_if(...) |
đếm dòng thoả điều kiện |
databricks tables get <catalog>.<schema>.<table> |
xem thông tin bảng bằng CLI |
Lỗi hay gặp
- Chọn SQL hay DataFrame vì "nhanh hơn".
- Ghép SQL bằng f-string với giá trị từ bên ngoài.
- Nhét đọc file, biến đổi, ghi bảng vào một hàm rồi không test được phần biến đổi.