DataOps Peach

Data Foundations · Module 02

Medallion: Bronze và Silver

Bronze bảo tồn, silver diễn giải. Dựng tầng bronze trung thực với nguồn, rồi tầng silver sạch có bảng kiểm toán giải thích từng dòng đã mất.

Học tương tác →

Học xong bạn làm được

Bài học

  1. Tầng Bronze

    Bronze là bản sao trung thực của nguồn, mọi cột là chuỗi, chỉ thêm metadata, không sửa và không bỏ dòng nào.

  2. Khử trùng lặp

    Hai loại trùng cần hai cách xử lý. DISTINCT cho dòng trùng hoàn toàn, ROW_NUMBER có tiêu chí phá hoà cho dòng trùng khoá nhưng khác nội dung.

  3. Chuẩn hoá kiểu và giá trị

    Ép kiểu bằng TRY_CAST và đếm số NULL phát sinh, gộp nhiều định dạng ngày bằng COALESCE, rồi đưa giá trị phân loại về một cách viết.

  4. Dòng lỗi và bảng kiểm toán

    Chọn drop, flag hay quarantine cho từng loại lỗi, và ghi bảng kiểm toán để mọi dòng biến mất đều giải thích được.