DataOps Peach

Data Foundations · Medallion: Bronze và Silver · Bài 1/4

Tầng Bronze

Bronze là bản sao trung thực của nguồn, mọi cột là chuỗi, chỉ thêm metadata, không sửa và không bỏ dòng nào.

Học tương tác →

Medallion: ba tầng, ba loại người dùng

Kiến trúc medallion chia dữ liệu thành ba tầng, mỗi tầng trả lời một câu hỏi:

Tầng Chứa gì Ai dùng
Bronze Dữ liệu đúng như nguồn gửi, kèm metadata Data engineer (đối chứng, chạy lại)
Silver Dữ liệu đã khử trùng, ép kiểu, chuẩn hoá Data engineer, analyst, data scientist
Gold Bảng tổng hợp theo câu hỏi nghiệp vụ Người làm báo cáo, dashboard

Câu xuyên suốt module này: bronze bảo tồn, silver diễn giải.

flowchart LR
  CSV[File CSV từ nguồn] --> B[Bronze: thô + metadata]
  B --> S[Silver: sạch, đúng kiểu]
  S --> G[Gold: tổng hợp]

Bốn quy tắc của bronze

  1. Không sửa. Giá trị trong bronze giống hệt trong file, kể cả N/A, liên hệ hay dòng trùng.
  2. Mọi cột là chuỗi (all_varchar=true).
  3. Chỉ thêm metadata: _ingested_at (nạp lúc nào) và _source_file (nạp từ file nào).
  4. Append-only: lô mới thì thêm dòng, không ghi đè và không xoá dòng cũ.

Trong lab, nguồn là một file đầy đủ nên ta dùng CREATE OR REPLACE TABLE để chạy lại không bị nhân đôi dữ liệu. Ở hệ thống thật, mỗi lô mới được INSERT thêm vào bronze; module 04 sẽ làm việc này.

Vì sao không làm sạch ở bronze

Ví dụ thật: một công ty fintech lọc giao dịch 0 đồng ngay lúc nạp vì "vô nghĩa". Giao dịch 0 đồng lại chính là dấu hiệu của card testing (kẻ gian thử thẻ ăn cắp bằng giao dịch rất nhỏ). Tín hiệu đó đã bị xoá trước khi đội chống gian lận kịp nhìn thấy.

Vì sao mọi cột là chuỗi

Ép kiểu (cast) là một phép biến đổi có mất mát: "2,310,000 VND" ép sang số sẽ lỗi hoặc thành NULL, và giá trị gốc biến mất. Giữ chuỗi thì bronze không bao giờ hỏng vì dữ liệu bẩn, và việc ép kiểu được làm ở silver, nơi bạn đếm được bao nhiêu dòng không ép được.

Dữ liệu vận hành và dữ liệu nghiệp vụ

order_ts là dữ liệu nghiệp vụ: khách đặt đơn lúc nào. _ingested_at là dữ liệu vận hành: pipeline nạp dòng đó lúc nào. Một đơn đặt ngày 5/3 có thể được nạp ngày 7/3. Báo cáo doanh thu dùng order_ts; truy vết sự cố ("lô nạp sáng thứ Hai có gì lạ?") dùng _ingested_at và _source_file.

Lệnh hay dùng

Lệnh Để làm gì
CREATE OR REPLACE TABLE bronze_orders AS SELECT *, now() AS _ingested_at, 'raw_orders.csv' AS _source_file FROM read_csv_auto('raw_orders.csv', all_varchar=true) dựng bảng bronze có metadata
SELECT count(*) FROM bronze_orders so số dòng với file nguồn (wc -l trừ 1 dòng tiêu đề)
DESCRIBE bronze_orders kiểm mọi cột nghiệp vụ là VARCHAR

Lỗi hay gặp

Học tương tác →