DataOps Platform
DataOps Platform: track DataOps miễn phí gồm 4 module và 16 bài. Governance quyết định bạn có trả lời được câu hỏi cơ bản về hệ thống của mình không: ai…
Module
- 01 Governance với Unity Catalog
Governance quyết định bạn có trả lời được câu hỏi cơ bản về hệ thống của mình không: ai đọc được gì, PII nằm ở đâu, đổi cột này thì vỡ cái gì.
- 02 Hiệu năng
Đừng thêm máy khi job chậm: đọc Spark UI, chẩn đoán đúng bệnh (skew, shuffle, small files, spill) và chọn layout dữ liệu có số đo trước/sau.
- 03 Chi phí và phục vụ BI
Phần lớn chi phí cloud đến từ việc trả tiền cho thứ không làm gì. Đọc DBU, cắt 7 nguồn lãng phí, và thiết kế gold để dashboard không đốt tiền.
- 04 Kỹ nghệ phần mềm cho pipeline
Notebook chạy tay không phải pipeline production. Đưa code vào git, tách logic khỏi I/O, tham số hoá môi trường và viết test chạy trong chưa đầy một phút.