DataOps Peach

DataOps Platform · Module 04

Kỹ nghệ phần mềm cho pipeline

Notebook chạy tay không phải pipeline production. Đưa code vào git, tách logic khỏi I/O, tham số hoá môi trường và viết test chạy trong chưa đầy một phút.

Học tương tác →

Học xong bạn làm được

Bài học

  1. Git và cấu trúc dự án

    Pipeline là phần mềm. Đưa nó vào git với cấu trúc src, tests, notebooks, resources và đi theo quy trình branch, pull request, merge.

  2. Tách logic khỏi I/O

    Logic biến đổi viết thành hàm thuần DataFrame vào, DataFrame ra. Đọc và ghi bảng dồn về rìa. Nhờ vậy logic test được với vài dòng giả, không cần workspace.

  3. dev, staging, prod bằng tham số

    Cùng một code chạy ở nhiều môi trường. Thứ duy nhất khác nhau là tham số chỉ nơi đọc và nơi ghi, và không ai sửa tay trên prod.

  4. Test pipeline bằng pytest

    Ba tầng test bắt ba loại lỗi khác nhau. Unit test cho logic, integration test cho cả luồng và test idempotency chạy pipeline hai lần, tất cả xong trong chưa đầy một phút trên máy bạn.