Data Foundations · Module 02
Medallion: Bronze và Silver
Bronze bảo tồn, silver diễn giải. Dựng tầng bronze trung thực với nguồn, rồi tầng silver sạch có bảng kiểm toán giải thích từng dòng đã mất.
Học xong bạn làm được
- Dựng bảng bronze append-only, mọi cột string, có metadata
- Khử trùng lặp bằng ROW_NUMBER có tiêu chí phá hoà
- Chuẩn hoá kiểu bằng TRY_CAST và đếm null phát sinh
- Chọn drop, flag hay quarantine cho từng loại lỗi và ghi bảng kiểm toán
Bài học
- Tầng Bronze
Bronze là bản sao trung thực của nguồn, mọi cột là chuỗi, chỉ thêm metadata, không sửa và không bỏ dòng nào.
- Khử trùng lặp
Hai loại trùng cần hai cách xử lý. DISTINCT cho dòng trùng hoàn toàn, ROW_NUMBER có tiêu chí phá hoà cho dòng trùng khoá nhưng khác nội dung.
- Chuẩn hoá kiểu và giá trị
Ép kiểu bằng TRY_CAST và đếm số NULL phát sinh, gộp nhiều định dạng ngày bằng COALESCE, rồi đưa giá trị phân loại về một cách viết.
- Dòng lỗi và bảng kiểm toán
Chọn drop, flag hay quarantine cho từng loại lỗi, và ghi bảng kiểm toán để mọi dòng biến mất đều giải thích được.