Notebook-driven development
Cách làm quen thuộc: mở notebook trong workspace, viết, bấm Run, thấy đúng thì gắn lịch chạy. Notebook đó trở thành "production". Bốn câu hỏi mà cách làm này không trả lời được:
- Ai đã sửa gì, khi nào, vì sao?
- Bản nào đang chạy production? Bản trong lịch chạy, bản
silver_v2_final, hay bản ai đó vừa sửa lúc nãy? - Rollback thế nào khi bản mới sai?
- Thay đổi này đã có ai xem chưa?
Tình huống giả định: chiều thứ Sáu, một người sửa nhanh notebook production cho kịp báo cáo và không lưu lại ở đâu khác. Thứ Hai số liệu sai, cả đội mất 6 tiếng debug trên bản code mà họ tưởng đang chạy, trong khi bản thật sự chạy là bản đã sửa.
Câu xuyên suốt module này: không có gì đặc biệt về dữ liệu khiến nó được miễn kỹ nghệ phần mềm.
Cấu trúc dự án
de-pipeline/
├── src/ logic: hàm Python import được, có test
│ ├── transform/ hàm biến đổi thuần (bài 4.2)
│ └── pipeline/ hàm đọc, ghi ở rìa
├── tests/
│ ├── unit/ test từng hàm với dữ liệu giả
│ └── integration/ test cả luồng
├── notebooks/ notebook mỏng: đọc tham số, gọi hàm trong src
├── resources/ định nghĩa job, pipeline (JSON, YAML)
├── .gitignore
└── README.md
Notebook vẫn có chỗ đứng: khám phá dữ liệu thì notebook là công cụ tốt nhất. Nhưng notebook production phải mỏng: đọc tham số, gọi hàm trong src/, in kết quả. Logic nằm ở src/ vì file .py thì diff được, review được và test được.
Git không lưu thư mục rỗng: src/ chỉ xuất hiện trong commit khi có file bên trong.
Branch, pull request, merge
flowchart LR M[main: luôn chạy được] --> B[feature/clean-orders] B --> PR[Pull request: diff + review + test] PR --> M
mainlà bản đang (hoặc sắp) chạy production. Không ai commit thẳng vàomain.- Mỗi thay đổi một branch ngắn, tên nói việc đang làm.
- Pull request (PR) là nơi thay đổi được nhìn lại: diff, lý do, kết quả test. Kể cả khi làm một mình vẫn mở PR: nó ghi lại vì sao, cho CI một chỗ để chạy test (Module 05), và tự đọc diff của mình là cách rẻ nhất để bắt lỗi.
- Rollback là
git revertmột commit, không phải cố nhớ lại code cũ.
Git folders trong Databricks
Git folder (trước đây gọi là Repos) là một thư mục trong workspace được clone từ repo git. Notebook và file .py trong đó là đúng nội dung của một branch, một commit. Job trỏ vào notebook trong Git folder thì trả lời được câu "bản nào đang chạy".
Repo public thì clone được ngay. Repo private cần khai báo token GitHub ở Settings > Linked accounts.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
git init -b main <thư mục> |
tạo repo với branch chính là main |
git checkout -b feature/<tên> |
tạo branch mới và chuyển sang |
git add . && git commit -m "<lý do>" |
ghi một mốc thay đổi |
git push -u origin <branch> |
đẩy branch lên GitHub |
databricks repos create <url> gitHub --path <đường dẫn> |
tạo Git folder trong workspace |
Lỗi hay gặp
- Commit thẳng vào
main. Không có diff để xem, không có chỗ cho test chạy. - Sửa trực tiếp trên workspace rồi quên commit. Git folder cho phép sửa; thay đổi chưa commit sẽ mất hoặc lệch với repo.
- Commit file sinh ra (
.venv/,__pycache__/,spark-warehouse/). Đưa vào.gitignorengay từ commit đầu. - Commit secret (token, mật khẩu). Một khi đã push thì coi như lộ: phải thu hồi token, xoá khỏi lịch sử là chưa đủ.