Medallion: ba tầng, ba loại người dùng
Kiến trúc medallion chia dữ liệu thành ba tầng, mỗi tầng trả lời một câu hỏi:
| Tầng | Chứa gì | Ai dùng |
|---|---|---|
| Bronze | Dữ liệu đúng như nguồn gửi, kèm metadata | Data engineer (đối chứng, chạy lại) |
| Silver | Dữ liệu đã khử trùng, ép kiểu, chuẩn hoá | Data engineer, analyst, data scientist |
| Gold | Bảng tổng hợp theo câu hỏi nghiệp vụ | Người làm báo cáo, dashboard |
Câu xuyên suốt module này: bronze bảo tồn, silver diễn giải.
flowchart LR CSV[File CSV từ nguồn] --> B[Bronze: thô + metadata] B --> S[Silver: sạch, đúng kiểu] S --> G[Gold: tổng hợp]
Bốn quy tắc của bronze
- Không sửa. Giá trị trong bronze giống hệt trong file, kể cả
N/A,liên hệhay dòng trùng. - Mọi cột là chuỗi (
all_varchar=true). - Chỉ thêm metadata:
_ingested_at(nạp lúc nào) và_source_file(nạp từ file nào). - Append-only: lô mới thì thêm dòng, không ghi đè và không xoá dòng cũ.
Trong lab, nguồn là một file đầy đủ nên ta dùng CREATE OR REPLACE TABLE để chạy lại không bị nhân đôi dữ liệu. Ở hệ thống thật, mỗi lô mới được INSERT thêm vào bronze; module 04 sẽ làm việc này.
Vì sao không làm sạch ở bronze
- Logic làm sạch sẽ sai. Không phải "có thể" mà là "sẽ": quy tắc hôm nay đúng, tháng sau nghiệp vụ đổi. Nếu bronze còn nguyên, bạn sửa logic rồi chạy lại silver. Nếu đã lọc ở bronze, dữ liệu bị lọc mất hẳn.
- Nguồn không giữ dữ liệu mãi. Đối tác chỉ giữ log 30 ngày thì sau 30 ngày bronze là bản duy nhất còn lại.
- Cần bản gốc để đối chứng. Khi ai đó hỏi "con số này từ đâu ra", bạn chỉ được vào đúng dòng trong file nguồn.
Ví dụ thật: một công ty fintech lọc giao dịch 0 đồng ngay lúc nạp vì "vô nghĩa". Giao dịch 0 đồng lại chính là dấu hiệu của card testing (kẻ gian thử thẻ ăn cắp bằng giao dịch rất nhỏ). Tín hiệu đó đã bị xoá trước khi đội chống gian lận kịp nhìn thấy.
Vì sao mọi cột là chuỗi
Ép kiểu (cast) là một phép biến đổi có mất mát: "2,310,000 VND" ép sang số sẽ lỗi hoặc thành NULL, và giá trị gốc biến mất. Giữ chuỗi thì bronze không bao giờ hỏng vì dữ liệu bẩn, và việc ép kiểu được làm ở silver, nơi bạn đếm được bao nhiêu dòng không ép được.
Dữ liệu vận hành và dữ liệu nghiệp vụ
order_ts là dữ liệu nghiệp vụ: khách đặt đơn lúc nào. _ingested_at là dữ liệu vận hành: pipeline nạp dòng đó lúc nào. Một đơn đặt ngày 5/3 có thể được nạp ngày 7/3. Báo cáo doanh thu dùng order_ts; truy vết sự cố ("lô nạp sáng thứ Hai có gì lạ?") dùng _ingested_at và _source_file.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
CREATE OR REPLACE TABLE bronze_orders AS SELECT *, now() AS _ingested_at, 'raw_orders.csv' AS _source_file FROM read_csv_auto('raw_orders.csv', all_varchar=true) |
dựng bảng bronze có metadata |
SELECT count(*) FROM bronze_orders |
so số dòng với file nguồn (wc -l trừ 1 dòng tiêu đề) |
DESCRIBE bronze_orders |
kiểm mọi cột nghiệp vụ là VARCHAR |
Lỗi hay gặp
- "Tiện tay" lọc dòng rỗng hoặc dòng trùng lúc nạp. Bronze đúng là bronze còn nguyên rác: 305 giá hỏng vẫn phải đếm được ở đây.
- Để công cụ tự đoán kiểu. Một giá trị lạ làm cả lô nạp thất bại, hoặc cột bị đoán kiểu khác nhau giữa hai lần nạp.
- Quên metadata. Không có
_source_filethì khi một file bị gửi sai, bạn không biết dòng nào đến từ file đó.