Vấn đề: đọc, lọc, ghi trong một khối
Notebook silver của Track 2 là một câu CREATE OR REPLACE TABLE ... AS SELECT ... FROM workspace.bronze.orders. Nó chạy đúng, nhưng ba việc dính vào nhau:
- đọc từ một bảng có tên viết cứng,
- biến đổi (ép kiểu, chọn bản mới nhất, bỏ quantity âm),
- ghi vào một bảng có tên viết cứng.
Muốn kiểm tra quy tắc "giá N/A thành NULL chứ không bị bỏ", bạn phải có workspace, có bảng bronze thật, chạy cả câu lệnh rồi soi kết quả. Không ai làm thế mỗi lần sửa một dòng, nên logic không được kiểm.
Hàm thuần
Hàm thuần (pure function): kết quả chỉ phụ thuộc đầu vào, và hàm không làm gì khác ngoài trả kết quả. Không đọc bảng, không ghi bảng, không nhìn đồng hồ, không đọc biến môi trường.
def clean_orders(df: DataFrame) -> DataFrame:
"""bronze.orders (mọi cột STRING, có _source_file) -> silver.orders."""
...
return cleaned
clean_orders không biết dữ liệu đến từ đâu và sẽ đi đâu. Đưa cho nó DataFrame 5 dòng giả hay 5 triệu dòng thật, nó áp cùng quy tắc.
I/O ở rìa
Đọc và ghi vẫn phải có, nhưng dồn về một chỗ mỏng ở rìa:
def run(spark, source: DataFrame, target_table: str) -> int:
cleaned = clean_orders(source) # logic: hàm thuần
cleaned.write.mode("overwrite").saveAsTable(target_table) # I/O
return spark.table(target_table).count()
flowchart LR NB[notebooks/silver.py: tham số + đọc nguồn] --> RUN[src/pipeline/run_silver.py: ghi] RUN --> CL[src/transform/clean.py: hàm thuần] T[tests/] --> CL
Ba lớp, ba mức "bẩn":
| Lớp | Biết gì | Test bằng |
|---|---|---|
src/transform/ |
chỉ DataFrame | unit test, vài dòng giả |
src/pipeline/ |
tên bảng nhận qua tham số | integration test |
notebooks/ |
môi trường, tham số của job | chạy job ở dev |
Notebook import hàm từ src/ thay vì chứa logic. Trong Databricks, notebook nằm ở notebooks/; notebook của bài thêm thư mục gốc của repo vào sys.path trước khi from src... import cho chắc (Git folder thường đã tự thêm gốc repo). Notebook là chỗ đọc bảng nguồn theo môi trường; run() là chỗ ghi duy nhất.
Vì sao không copy-paste
Khi logic nằm trong notebook, cách "tái sử dụng" là copy sang notebook khác. Tình huống giả định: công thức doanh thu tính hoa hồng được copy ở 4 notebook. Một lần sửa quy tắc chỉ sửa 3 chỗ; chỗ còn lại chạy tiếp công thức cũ và 340 nhân viên bị tính thiếu hoa hồng một tháng. Không lệnh nào báo lỗi.
Import thì chỉ có một bản: sửa một chỗ, mọi nơi dùng đều đổi, và test của hàm đó bảo vệ mọi nơi dùng.
Chuẩn bị máy
Spark local cần Java 17 (hoặc 21) và chạy ổn trên Linux, macOS hoặc WSL2. Trên Windows, dùng WSL2 (Ubuntu): Spark trên Windows gốc cần thêm winutils.exe để ghi bảng, nên test ở bài 4.4 sẽ lỗi. Trong Ubuntu: sudo apt install openjdk-17-jdk python3-venv, kiểm bằng java -version, và nên ghim phiên bản pip install "pyspark==4.0.*" pytest. Không cài được thì dùng GitHub Codespaces.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
python3 -m venv .venv && . .venv/bin/activate |
môi trường Python riêng cho dự án |
pip install pyspark pytest |
Spark local và pytest (Spark local cần Java 17 hoặc 21) |
python3 -c "from src.transform.clean import clean_orders" |
kiểm hàm import được từ thư mục gốc |
grep -n "spark\.table\|saveAsTable" src/... |
tìm chỗ đang đọc, ghi bảng |
databricks repos update <đường dẫn> --branch <branch> |
kéo branch mới về Git folder |
Lỗi hay gặp
- Hàm "transform" lén đọc thêm một bảng (ví dụ tự
spark.table("dim_customer")để join). Truyền bảng đó vào như một tham số DataFrame. - Dùng
current_date()trong logic. Kết quả đổi theo ngày chạy; truyền ngày xử lý qua tham số (Track 1, Module 04). - Viết cứng tên bảng trong hàm. Hàm không chạy được ở môi trường khác và không test được.
- Giữ một bản logic trong notebook "cho tiện debug". Đó là bản thứ hai, và nó sẽ lệch.