DataOps Peach

DataOps Platform · Kỹ nghệ phần mềm cho pipeline · Bài 3/4

dev, staging, prod bằng tham số

Cùng một code chạy ở nhiều môi trường. Thứ duy nhất khác nhau là tham số chỉ nơi đọc và nơi ghi, và không ai sửa tay trên prod.

Học tương tác →

Ba môi trường, ba vai trò

Môi trường Dữ liệu Ai ghi Để làm gì
dev nhỏ, mẫu data engineer, tự do thử nghiệm, hỏng không ai bị ảnh hưởng
staging giống prod chỉ CI chạy thử bản sắp phát hành trong điều kiện như thật
prod thật chỉ CI/CD phục vụ người dùng số liệu

Ý nghĩa của việc tách: lỗi được tìm ra ở nơi rẻ nhất. Sai ở dev mất 5 phút của một người. Sai ở prod là báo cáo sai tới tay giám đốc.

Tham số, không hardcode

Nếu code viết cứng workspace.prod_silver.orders, bạn chỉ còn hai lựa chọn tồi: thử ngay trên prod, hoặc copy code ra một bản "dev" rồi sửa tên bảng (và hai bản lệch nhau).

Cách đúng: tên môi trường là tham số của lần chạy, code dựng tên bảng từ tham số đó.

dbutils.widgets.text("env", "dev")
env = dbutils.widgets.get("env")
rows = run(spark, source, f"workspace.{env}_silver.orders")
flowchart LR
  C[Một code: notebooks/silver.py + src/] -->|env=dev| D[workspace.dev_silver.orders: 548 đơn]
  C -->|env=prod| P[workspace.prod_silver.orders: 5372 đơn]

Ở công ty, môi trường thường là catalog riêng (dev, staging, prod, như bài 1.1) hoặc workspace riêng. Free Edition chỉ có một catalog nên lab mô phỏng bằng tiền tố schema: dev_silver, prod_silver. Cơ chế giống hệt: một tham số quyết định nơi ghi.

Trong lab, dev chỉ lấy lô incremental (550 dòng bronze, ra 548 đơn) còn prod lấy toàn bộ (5372 đơn). Hai bảng cùng cấu trúc, khác dữ liệu.

Không ai sửa tay trên prod

"Chỉ sửa tí thôi" là câu mở đầu của rất nhiều sự cố. Một thay đổi làm tay trên prod:

Quy tắc: thay đổi tới prod chỉ bằng một đường: commit → pull request → test → deploy tự động (Module 05). Con người có quyền đọc prod để điều tra, không có quyền ghi. Quyền này đặt bằng GRANT (Module 01), không bằng lời dặn. Trong lab bạn tự chạy env=prod từ Git folder cá nhân chỉ để thấy cơ chế; Module 05 chuyển sang CI, job prod lấy code từ main.

Secret cũng theo môi trường: đọc ở rìa như env, ví dụ dbutils.secrets.get(scope=f"{env}-source", key="api_token"), không viết vào code hay commit lên repo.

Giữ lại schema dev_silver, prod_silver, job và Git folder cho Module 05; khi không cần nữa thì xoá job (databricks jobs delete <job_id>), schema và Git folder.

Lệnh hay dùng

Lệnh Để làm gì
databricks schemas create dev_silver workspace tạo schema cho một môi trường
databricks jobs create --json @resources/job_env.json tạo job từ định nghĩa trong repo
databricks jobs run-now --json '{"job_id": <id>, "job_parameters": {"env": "dev"}}' chạy job với tham số môi trường
dbutils.widgets.get("env") đọc tham số trong notebook

Lỗi hay gặp

Học tương tác →