Ba schema, ba chế độ ghi
| Tầng | Schema | Chế độ ghi | Vì sao |
|---|---|---|---|
| Bronze | workspace.bronze |
Append (trong lab: dựng lại từ file) | Giữ nguyên văn nguồn, không sửa; cho phép mở rộng schema |
| Silver | workspace.silver |
MERGE theo khoá, hoặc full refresh từ bronze | Mỗi đơn một dòng, bản mới nhất |
| Gold | workspace.gold |
Overwrite (CREATE OR REPLACE) |
Tính lại toàn bộ từ silver: idempotent không tốn công |
Mỗi tầng một schema để cấp quyền và quản lý vòng đời riêng (Track 3): analyst đọc gold, kỹ sư ghi silver, gần như không ai được sửa bronze.
UPDATE / DELETE trên bronze là dấu hiệu sai thiết kế: bronze là bản ghi chép nguồn đã gửi gì; sửa nó là mất khả năng đối chứng.
Bronze đọc nhiều file một lần
SELECT *, current_timestamp() AS _ingested_at, _metadata.file_path AS _source_file
FROM read_files('/Volumes/workspace/de/raw/raw_orders*.csv', format => 'csv', header => true,
schema => 'order_id STRING, customer_id STRING, ...')
_metadata.file_path cho biết mỗi dòng đến từ file nào: 5100 dòng của raw_orders.csv và 550 dòng của raw_orders_incremental.csv. Schema khai báo tường minh, mọi cột là chuỗi như bronze của Track 1.
Silver: cùng logic, cùng con số
Silver lấy bản mới nhất của mỗi đơn (dòng từ file incremental thắng), ép kiểu, bỏ quantity âm, đúng logic 02_silver.sql của Track 1. QUALIFY lọc theo kết quả của hàm window ngay trong câu SELECT. Kết quả: 5372 đơn, tổng 70,538,094,000: khớp Track 1 (DuckDB) và bài 2.4 (MERGE). Ba cách làm, một kết quả: logic chuyển sang Spark giữ nguyên, không phụ thuộc công cụ (nếu bản DuckDB sai thì bản Spark cũng sai y như vậy).
Gold cancel_rate_by_channel có 5 dòng, tổng total_orders = 5372.
flowchart LR R[volume raw · 2 file] -->|append + metadata| B[bronze.orders · 5650] B -->|bản mới nhất, ép kiểu| S[silver.orders · 5372] S -->|overwrite| G[gold.cancel_rate_by_channel · 5]
Lambda, Kappa, lakehouse
- Lambda: hai pipeline song song, batch (chậm, đúng) và speed (streaming, nhanh, gần đúng), gộp kết quả lúc đọc. Hai bộ code cho cùng một logic, nên sớm muộn hai con số lệch nhau.
- Kappa: chỉ một pipeline streaming; muốn tính lại thì phát lại toàn bộ luồng sự kiện. Một bộ code, nhưng tính lại lịch sử rất đắt.
- Lakehouse: một bảng Delta vừa là nguồn batch vừa là nguồn stream (Track 2, Module 03: Auto Loader, streaming đọc bảng Delta). Một logic, chạy theo lô lớn hay nhỏ (Track 1, Module 06).
Ví dụ: lệch 3% trong 4 tháng
Tình huống giả định, thường gặp: một công ty fintech chạy kiến trúc Lambda. Luồng batch tính ngày theo UTC, luồng streaming tính theo giờ địa phương. Doanh thu theo ngày của hai luồng lệch khoảng 3%, và phải mất 4 tháng mới có người tìm ra vì sao. Sai ở tiền đề: hai bộ code cho một định nghĩa. Kiến trúc tốt là kiến trúc khiến loại bug này không có chỗ tồn tại.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
databricks schemas create <tầng> workspace |
tạo schema cho từng tầng |
read_files('<glob>', format => 'csv', header => true, schema => '...') + _metadata.file_path |
bronze nhiều file, biết nguồn từng dòng |
... QUALIFY row_number() OVER (PARTITION BY k ORDER BY ...) = 1 |
giữ một dòng mỗi khoá |
CREATE OR REPLACE TABLE workspace.gold.... |
gold ghi đè toàn bộ |
Lỗi hay gặp
- UPDATE / DELETE trên bronze để "sửa dữ liệu nguồn".
- Gold ghi bằng append rồi chạy lại là nhân đôi.
- Hai pipeline cho một định nghĩa (Lambda) rồi đi tìm vì sao số lệch.
- Không đối chiếu số với bản trước khi chuyển công cụ.
- Quên dọn: giữ các schema cho Module 03; học xong track thì
DROP SCHEMA workspace.bronze CASCADE(tương tự silver, gold, de).