Ba tầng test, không tầng nào thay tầng nào
| Tầng | Kiểm cái gì | Dữ liệu | Chạy khi nào |
|---|---|---|---|
| Unit | một hàm, một quy tắc | vài dòng giả | mỗi lần sửa code |
| Integration | cả luồng đọc → biến đổi → ghi | bộ mẫu nhỏ | trước khi merge |
| Data quality | dữ liệu thật hôm nay | dữ liệu thật | mỗi lần pipeline chạy |
Unit test bắt lỗi logic ("giá N/A bị bỏ thay vì thành NULL"). Integration test bắt lỗi ghép nối (ghi nhầm chế độ, chạy hai lần ra hai kết quả). Data quality check (Track 1 Module 05) bắt lỗi dữ liệu (hôm nay nguồn gửi thiếu một nửa). Code đúng hoàn toàn vẫn cho số sai nếu dữ liệu vào sai, và ngược lại.
"Dữ liệu quá lớn nên không test được" là lý do sai: test logic không cần dữ liệu lớn. Quy tắc làm sạch đúng với 5 dòng thì đúng với 5 triệu dòng.
Unit test với Spark local
pytest tìm các hàm test_* trong file test_*.py và chạy chúng. Fixture là thứ dùng chung được pytest dựng sẵn và đưa vào test qua tên tham số. Dự án có hai fixture trong conftest.py:
spark: một SparkSession chạy local trên máy (cần Java 17), tạo một lần cho cả phiên test vì khởi động Spark mất vài giây;bronze: hàm dựng DataFrame bronze từ vài dict, cột nào không nêu thì lấy giá trị mặc định.
def test_unreadable_price_is_kept_as_null(bronze):
rows = clean_orders(bronze({"unit_price": "N/A"})).collect()
assert len(rows) == 1 # đơn vẫn ở lại silver
assert rows[0]["unit_price"] is None # NULL, không phải 0
Mỗi test một quy tắc, tên test nói quy tắc đó. Khi test đỏ, chỉ đọc tên là biết quy tắc nào vỡ.
Chọn ca test từ ca biên: giá không đọc được, quantity âm, cùng đơn ở hai file, status viết hoa có dấu cách, channel chỉ có một dấu cách. Và mỗi bug một test: sửa bug nào thì thêm test tái hiện bug đó, để nó không quay lại.
Test idempotency
Chạy cả run() hai lần trên cùng đầu vào rồi so vân tay của bảng đích (số dòng và tổng doanh thu). Bằng nhau thì chạy lại, retry hay backfill đều an toàn (Track 1 Module 04). Một pipeline dùng append thay vì overwrite sẽ trượt test này ngay: lần hai có gấp đôi số dòng.
flowchart LR
S[src/transform + src/pipeline] --> U[tests/unit: 5 test, từng quy tắc]
S --> I[tests/integration: chạy 2 lần, so vân tay]
U --> G{xanh?}
I --> G
G -->|có| M[được merge]
G -->|không| F[sửa code, không sửa test cho qua]
Cố tình phá để thấy test đỏ
Một test chưa từng đỏ thì chưa chứng minh được gì: có thể nó không kiểm điều bạn nghĩ. Sửa sai code một chỗ (quantity >= 0 thành quantity >= -5), chạy pytest tests/unit, và phải thấy đúng test về quantity âm đỏ (test idempotency cũng sẽ đỏ nếu chạy cả thư mục, vì dữ liệu của nó cũng có đơn quantity âm). Rồi trả code về như cũ.
Test viết sau khi code đã xong có một bẫy: người viết nhìn kết quả hiện tại rồi chép vào assert. Test đó xác nhận code làm đúng điều nó đang làm, kể cả khi điều đó sai. Viết kỳ vọng từ quy tắc nghiệp vụ, không từ output.
Tình huống giả định: một đội có pipeline 3000 dòng không test, và quy ước chỉ deploy vào thứ Ba "để còn ba ngày sửa". Lịch deploy đó là cái giá của việc không có test.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
pytest tests/unit -q |
chạy unit test, in gọn |
pytest tests/integration -q |
chạy integration test |
pytest -k negative -q |
chỉ chạy test có chữ negative trong tên |
pytest -x |
dừng ở test đỏ đầu tiên |
Lỗi hay gặp
- Sửa test cho xanh thay vì sửa code. Test đỏ là thông tin; xoá nó đi là vứt thông tin.
- Một test kiểm mười thứ. Đỏ mà không biết vì đâu.
- Test phụ thuộc bảng thật trên workspace. Chậm, và đỏ vì dữ liệu đổi chứ không vì code sai.
- Chỉ test ca đẹp. Bug nằm ở ca biên.