DataOps Platform · Module 04
Kỹ nghệ phần mềm cho pipeline
Notebook chạy tay không phải pipeline production. Đưa code vào git, tách logic khỏi I/O, tham số hoá môi trường và viết test chạy trong chưa đầy một phút.
Học xong bạn làm được
- Cấu trúc một dự án pipeline có src, tests, resources
- Tách logic transform thành hàm thuần DataFrame → DataFrame
- Chạy cùng code trên dev và prod chỉ bằng tham số
- Viết unit, integration và test idempotency bằng pytest
Bài học
- Git và cấu trúc dự án
Pipeline là phần mềm. Đưa nó vào git với cấu trúc src, tests, notebooks, resources và đi theo quy trình branch, pull request, merge.
- Tách logic khỏi I/O
Logic biến đổi viết thành hàm thuần DataFrame vào, DataFrame ra. Đọc và ghi bảng dồn về rìa. Nhờ vậy logic test được với vài dòng giả, không cần workspace.
- dev, staging, prod bằng tham số
Cùng một code chạy ở nhiều môi trường. Thứ duy nhất khác nhau là tham số chỉ nơi đọc và nơi ghi, và không ai sửa tay trên prod.
- Test pipeline bằng pytest
Ba tầng test bắt ba loại lỗi khác nhau. Unit test cho logic, integration test cho cả luồng và test idempotency chạy pipeline hai lần, tất cả xong trong chưa đầy một phút trên máy bạn.