DataOps Peach

DataOps Platform · Kỹ nghệ phần mềm cho pipeline · Bài 2/4

Tách logic khỏi I/O

Logic biến đổi viết thành hàm thuần DataFrame vào, DataFrame ra. Đọc và ghi bảng dồn về rìa. Nhờ vậy logic test được với vài dòng giả, không cần workspace.

Học tương tác →

Vấn đề: đọc, lọc, ghi trong một khối

Notebook silver của Track 2 là một câu CREATE OR REPLACE TABLE ... AS SELECT ... FROM workspace.bronze.orders. Nó chạy đúng, nhưng ba việc dính vào nhau:

Muốn kiểm tra quy tắc "giá N/A thành NULL chứ không bị bỏ", bạn phải có workspace, có bảng bronze thật, chạy cả câu lệnh rồi soi kết quả. Không ai làm thế mỗi lần sửa một dòng, nên logic không được kiểm.

Hàm thuần

Hàm thuần (pure function): kết quả chỉ phụ thuộc đầu vào, và hàm không làm gì khác ngoài trả kết quả. Không đọc bảng, không ghi bảng, không nhìn đồng hồ, không đọc biến môi trường.

def clean_orders(df: DataFrame) -> DataFrame:
    """bronze.orders (mọi cột STRING, có _source_file) -> silver.orders."""
    ...
    return cleaned

clean_orders không biết dữ liệu đến từ đâu và sẽ đi đâu. Đưa cho nó DataFrame 5 dòng giả hay 5 triệu dòng thật, nó áp cùng quy tắc.

I/O ở rìa

Đọc và ghi vẫn phải có, nhưng dồn về một chỗ mỏng ở rìa:

def run(spark, source: DataFrame, target_table: str) -> int:
    cleaned = clean_orders(source)                              # logic: hàm thuần
    cleaned.write.mode("overwrite").saveAsTable(target_table)   # I/O
    return spark.table(target_table).count()
flowchart LR
  NB[notebooks/silver.py: tham số + đọc nguồn] --> RUN[src/pipeline/run_silver.py: ghi]
  RUN --> CL[src/transform/clean.py: hàm thuần]
  T[tests/] --> CL

Ba lớp, ba mức "bẩn":

Lớp Biết gì Test bằng
src/transform/ chỉ DataFrame unit test, vài dòng giả
src/pipeline/ tên bảng nhận qua tham số integration test
notebooks/ môi trường, tham số của job chạy job ở dev

Notebook import hàm từ src/ thay vì chứa logic. Trong Databricks, notebook nằm ở notebooks/; notebook của bài thêm thư mục gốc của repo vào sys.path trước khi from src... import cho chắc (Git folder thường đã tự thêm gốc repo). Notebook là chỗ đọc bảng nguồn theo môi trường; run() là chỗ ghi duy nhất.

Vì sao không copy-paste

Khi logic nằm trong notebook, cách "tái sử dụng" là copy sang notebook khác. Tình huống giả định: công thức doanh thu tính hoa hồng được copy ở 4 notebook. Một lần sửa quy tắc chỉ sửa 3 chỗ; chỗ còn lại chạy tiếp công thức cũ và 340 nhân viên bị tính thiếu hoa hồng một tháng. Không lệnh nào báo lỗi.

Import thì chỉ có một bản: sửa một chỗ, mọi nơi dùng đều đổi, và test của hàm đó bảo vệ mọi nơi dùng.

Chuẩn bị máy

Spark local cần Java 17 (hoặc 21) và chạy ổn trên Linux, macOS hoặc WSL2. Trên Windows, dùng WSL2 (Ubuntu): Spark trên Windows gốc cần thêm winutils.exe để ghi bảng, nên test ở bài 4.4 sẽ lỗi. Trong Ubuntu: sudo apt install openjdk-17-jdk python3-venv, kiểm bằng java -version, và nên ghim phiên bản pip install "pyspark==4.0.*" pytest. Không cài được thì dùng GitHub Codespaces.

Lệnh hay dùng

Lệnh Để làm gì
python3 -m venv .venv && . .venv/bin/activate môi trường Python riêng cho dự án
pip install pyspark pytest Spark local và pytest (Spark local cần Java 17 hoặc 21)
python3 -c "from src.transform.clean import clean_orders" kiểm hàm import được từ thư mục gốc
grep -n "spark\.table\|saveAsTable" src/... tìm chỗ đang đọc, ghi bảng
databricks repos update <đường dẫn> --branch <branch> kéo branch mới về Git folder

Lỗi hay gặp

Học tương tác →