DataOps Peach

DataOps Platform · Kỹ nghệ phần mềm cho pipeline · Bài 4/4

Test pipeline bằng pytest

Ba tầng test bắt ba loại lỗi khác nhau. Unit test cho logic, integration test cho cả luồng và test idempotency chạy pipeline hai lần, tất cả xong trong chưa đầy một phút trên máy bạn.

Học tương tác →

Ba tầng test, không tầng nào thay tầng nào

Tầng Kiểm cái gì Dữ liệu Chạy khi nào
Unit một hàm, một quy tắc vài dòng giả mỗi lần sửa code
Integration cả luồng đọc → biến đổi → ghi bộ mẫu nhỏ trước khi merge
Data quality dữ liệu thật hôm nay dữ liệu thật mỗi lần pipeline chạy

Unit test bắt lỗi logic ("giá N/A bị bỏ thay vì thành NULL"). Integration test bắt lỗi ghép nối (ghi nhầm chế độ, chạy hai lần ra hai kết quả). Data quality check (Track 1 Module 05) bắt lỗi dữ liệu (hôm nay nguồn gửi thiếu một nửa). Code đúng hoàn toàn vẫn cho số sai nếu dữ liệu vào sai, và ngược lại.

"Dữ liệu quá lớn nên không test được" là lý do sai: test logic không cần dữ liệu lớn. Quy tắc làm sạch đúng với 5 dòng thì đúng với 5 triệu dòng.

Unit test với Spark local

pytest tìm các hàm test_* trong file test_*.py và chạy chúng. Fixture là thứ dùng chung được pytest dựng sẵn và đưa vào test qua tên tham số. Dự án có hai fixture trong conftest.py:

def test_unreadable_price_is_kept_as_null(bronze):
    rows = clean_orders(bronze({"unit_price": "N/A"})).collect()
    assert len(rows) == 1                  # đơn vẫn ở lại silver
    assert rows[0]["unit_price"] is None   # NULL, không phải 0

Mỗi test một quy tắc, tên test nói quy tắc đó. Khi test đỏ, chỉ đọc tên là biết quy tắc nào vỡ.

Chọn ca test từ ca biên: giá không đọc được, quantity âm, cùng đơn ở hai file, status viết hoa có dấu cách, channel chỉ có một dấu cách. Và mỗi bug một test: sửa bug nào thì thêm test tái hiện bug đó, để nó không quay lại.

Test idempotency

Chạy cả run() hai lần trên cùng đầu vào rồi so vân tay của bảng đích (số dòng và tổng doanh thu). Bằng nhau thì chạy lại, retry hay backfill đều an toàn (Track 1 Module 04). Một pipeline dùng append thay vì overwrite sẽ trượt test này ngay: lần hai có gấp đôi số dòng.

flowchart LR
  S[src/transform + src/pipeline] --> U[tests/unit: 5 test, từng quy tắc]
  S --> I[tests/integration: chạy 2 lần, so vân tay]
  U --> G{xanh?}
  I --> G
  G -->|có| M[được merge]
  G -->|không| F[sửa code, không sửa test cho qua]

Cố tình phá để thấy test đỏ

Một test chưa từng đỏ thì chưa chứng minh được gì: có thể nó không kiểm điều bạn nghĩ. Sửa sai code một chỗ (quantity >= 0 thành quantity >= -5), chạy pytest tests/unit, và phải thấy đúng test về quantity âm đỏ (test idempotency cũng sẽ đỏ nếu chạy cả thư mục, vì dữ liệu của nó cũng có đơn quantity âm). Rồi trả code về như cũ.

Test viết sau khi code đã xong có một bẫy: người viết nhìn kết quả hiện tại rồi chép vào assert. Test đó xác nhận code làm đúng điều nó đang làm, kể cả khi điều đó sai. Viết kỳ vọng từ quy tắc nghiệp vụ, không từ output.

Tình huống giả định: một đội có pipeline 3000 dòng không test, và quy ước chỉ deploy vào thứ Ba "để còn ba ngày sửa". Lịch deploy đó là cái giá của việc không có test.

Lệnh hay dùng

Lệnh Để làm gì
pytest tests/unit -q chạy unit test, in gọn
pytest tests/integration -q chạy integration test
pytest -k negative -q chỉ chạy test có chữ negative trong tên
pytest -x dừng ở test đỏ đầu tiên

Lỗi hay gặp

Học tương tác →