DataOps Peach

DataOps Platform · Kỹ nghệ phần mềm cho pipeline · Bài 1/4

Git và cấu trúc dự án

Pipeline là phần mềm. Đưa nó vào git với cấu trúc src, tests, notebooks, resources và đi theo quy trình branch, pull request, merge.

Học tương tác →

Notebook-driven development

Cách làm quen thuộc: mở notebook trong workspace, viết, bấm Run, thấy đúng thì gắn lịch chạy. Notebook đó trở thành "production". Bốn câu hỏi mà cách làm này không trả lời được:

  1. Ai đã sửa gì, khi nào, vì sao?
  2. Bản nào đang chạy production? Bản trong lịch chạy, bản silver_v2_final, hay bản ai đó vừa sửa lúc nãy?
  3. Rollback thế nào khi bản mới sai?
  4. Thay đổi này đã có ai xem chưa?

Tình huống giả định: chiều thứ Sáu, một người sửa nhanh notebook production cho kịp báo cáo và không lưu lại ở đâu khác. Thứ Hai số liệu sai, cả đội mất 6 tiếng debug trên bản code mà họ tưởng đang chạy, trong khi bản thật sự chạy là bản đã sửa.

Câu xuyên suốt module này: không có gì đặc biệt về dữ liệu khiến nó được miễn kỹ nghệ phần mềm.

Cấu trúc dự án

de-pipeline/
├── src/              logic: hàm Python import được, có test
│   ├── transform/    hàm biến đổi thuần (bài 4.2)
│   └── pipeline/     hàm đọc, ghi ở rìa
├── tests/
│   ├── unit/         test từng hàm với dữ liệu giả
│   └── integration/  test cả luồng
├── notebooks/        notebook mỏng: đọc tham số, gọi hàm trong src
├── resources/        định nghĩa job, pipeline (JSON, YAML)
├── .gitignore
└── README.md

Notebook vẫn có chỗ đứng: khám phá dữ liệu thì notebook là công cụ tốt nhất. Nhưng notebook production phải mỏng: đọc tham số, gọi hàm trong src/, in kết quả. Logic nằm ở src/ vì file .py thì diff được, review được và test được.

Git không lưu thư mục rỗng: src/ chỉ xuất hiện trong commit khi có file bên trong.

Branch, pull request, merge

flowchart LR
  M[main: luôn chạy được] --> B[feature/clean-orders]
  B --> PR[Pull request: diff + review + test]
  PR --> M

Git folders trong Databricks

Git folder (trước đây gọi là Repos) là một thư mục trong workspace được clone từ repo git. Notebook và file .py trong đó là đúng nội dung của một branch, một commit. Job trỏ vào notebook trong Git folder thì trả lời được câu "bản nào đang chạy".

Repo public thì clone được ngay. Repo private cần khai báo token GitHub ở Settings > Linked accounts.

Lệnh hay dùng

Lệnh Để làm gì
git init -b main <thư mục> tạo repo với branch chính là main
git checkout -b feature/<tên> tạo branch mới và chuyển sang
git add . && git commit -m "<lý do>" ghi một mốc thay đổi
git push -u origin <branch> đẩy branch lên GitHub
databricks repos create <url> gitHub --path <đường dẫn> tạo Git folder trong workspace

Lỗi hay gặp

Học tương tác →