Ba môi trường, ba vai trò
| Môi trường | Dữ liệu | Ai ghi | Để làm gì |
|---|---|---|---|
| dev | nhỏ, mẫu | data engineer, tự do | thử nghiệm, hỏng không ai bị ảnh hưởng |
| staging | giống prod | chỉ CI | chạy thử bản sắp phát hành trong điều kiện như thật |
| prod | thật | chỉ CI/CD | phục vụ người dùng số liệu |
Ý nghĩa của việc tách: lỗi được tìm ra ở nơi rẻ nhất. Sai ở dev mất 5 phút của một người. Sai ở prod là báo cáo sai tới tay giám đốc.
Tham số, không hardcode
Nếu code viết cứng workspace.prod_silver.orders, bạn chỉ còn hai lựa chọn tồi: thử ngay trên prod, hoặc copy code ra một bản "dev" rồi sửa tên bảng (và hai bản lệch nhau).
Cách đúng: tên môi trường là tham số của lần chạy, code dựng tên bảng từ tham số đó.
dbutils.widgets.text("env", "dev")
env = dbutils.widgets.get("env")
rows = run(spark, source, f"workspace.{env}_silver.orders")
- Tham số được đọc ở rìa (notebook), rồi truyền xuống. Hàm trong
src/không tự đọc widget hay biến môi trường. - Giá trị mặc định là
dev. Ai đó bấm Run mà quên truyền tham số thì ghi vào dev, không ghi vào prod. - Notebook kiểm giá trị và dừng nếu
envkhông hợp lệ, thay vì lặng lẽ tạo bảng ở một schema gõ nhầm.
flowchart LR C[Một code: notebooks/silver.py + src/] -->|env=dev| D[workspace.dev_silver.orders: 548 đơn] C -->|env=prod| P[workspace.prod_silver.orders: 5372 đơn]
Ở công ty, môi trường thường là catalog riêng (dev, staging, prod, như bài 1.1) hoặc workspace riêng. Free Edition chỉ có một catalog nên lab mô phỏng bằng tiền tố schema: dev_silver, prod_silver. Cơ chế giống hệt: một tham số quyết định nơi ghi.
Trong lab, dev chỉ lấy lô incremental (550 dòng bronze, ra 548 đơn) còn prod lấy toàn bộ (5372 đơn). Hai bảng cùng cấu trúc, khác dữ liệu.
Không ai sửa tay trên prod
"Chỉ sửa tí thôi" là câu mở đầu của rất nhiều sự cố. Một thay đổi làm tay trên prod:
- không có trong git, nên lần deploy sau sẽ ghi đè mất, hoặc tệ hơn là không ai biết nó tồn tại;
- không qua test, không qua review;
- không lặp lại được ở môi trường khác.
Quy tắc: thay đổi tới prod chỉ bằng một đường: commit → pull request → test → deploy tự động (Module 05). Con người có quyền đọc prod để điều tra, không có quyền ghi. Quyền này đặt bằng GRANT (Module 01), không bằng lời dặn. Trong lab bạn tự chạy env=prod từ Git folder cá nhân chỉ để thấy cơ chế; Module 05 chuyển sang CI, job prod lấy code từ main.
Secret cũng theo môi trường: đọc ở rìa như env, ví dụ dbutils.secrets.get(scope=f"{env}-source", key="api_token"), không viết vào code hay commit lên repo.
Giữ lại schema dev_silver, prod_silver, job và Git folder cho Module 05; khi không cần nữa thì xoá job (databricks jobs delete <job_id>), schema và Git folder.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
databricks schemas create dev_silver workspace |
tạo schema cho một môi trường |
databricks jobs create --json @resources/job_env.json |
tạo job từ định nghĩa trong repo |
databricks jobs run-now --json '{"job_id": <id>, "job_parameters": {"env": "dev"}}' |
chạy job với tham số môi trường |
dbutils.widgets.get("env") |
đọc tham số trong notebook |
Lỗi hay gặp
- Mặc định là prod. Một lần chạy thử quên tham số ghi đè dữ liệu thật.
- Dev và prod dùng hai bản code. Thứ được test ở dev không phải thứ chạy ở prod.
- Dev đọc dữ liệu thật có PII vì "cho giống prod". Dev dùng dữ liệu mẫu hoặc đã che.
- Sửa nóng trên prod rồi quên đưa vào git. Lần deploy sau làm lỗi cũ quay lại.