DataOps Peach

Lakehouse Engineering · Delta Lake · Bài 5/5

Medallion trên Delta

Dựng lại pipeline của Track 1 trên Delta với chế độ ghi đúng cho từng tầng, và khớp con số với bản DuckDB. Lambda, Kappa, lakehouse - và vì sao một bảng cho cả batch lẫn stream.

Học tương tác →

Ba schema, ba chế độ ghi

Tầng Schema Chế độ ghi Vì sao
Bronze workspace.bronze Append (trong lab: dựng lại từ file) Giữ nguyên văn nguồn, không sửa; cho phép mở rộng schema
Silver workspace.silver MERGE theo khoá, hoặc full refresh từ bronze Mỗi đơn một dòng, bản mới nhất
Gold workspace.gold Overwrite (CREATE OR REPLACE) Tính lại toàn bộ từ silver: idempotent không tốn công

Mỗi tầng một schema để cấp quyền và quản lý vòng đời riêng (Track 3): analyst đọc gold, kỹ sư ghi silver, gần như không ai được sửa bronze.

UPDATE / DELETE trên bronze là dấu hiệu sai thiết kế: bronze là bản ghi chép nguồn đã gửi gì; sửa nó là mất khả năng đối chứng.

Bronze đọc nhiều file một lần

SELECT *, current_timestamp() AS _ingested_at, _metadata.file_path AS _source_file
FROM read_files('/Volumes/workspace/de/raw/raw_orders*.csv', format => 'csv', header => true,
                schema => 'order_id STRING, customer_id STRING, ...')

_metadata.file_path cho biết mỗi dòng đến từ file nào: 5100 dòng của raw_orders.csv và 550 dòng của raw_orders_incremental.csv. Schema khai báo tường minh, mọi cột là chuỗi như bronze của Track 1.

Silver: cùng logic, cùng con số

Silver lấy bản mới nhất của mỗi đơn (dòng từ file incremental thắng), ép kiểu, bỏ quantity âm, đúng logic 02_silver.sql của Track 1. QUALIFY lọc theo kết quả của hàm window ngay trong câu SELECT. Kết quả: 5372 đơn, tổng 70,538,094,000: khớp Track 1 (DuckDB) và bài 2.4 (MERGE). Ba cách làm, một kết quả: logic chuyển sang Spark giữ nguyên, không phụ thuộc công cụ (nếu bản DuckDB sai thì bản Spark cũng sai y như vậy).

Gold cancel_rate_by_channel có 5 dòng, tổng total_orders = 5372.

flowchart LR
  R[volume raw · 2 file] -->|append + metadata| B[bronze.orders · 5650]
  B -->|bản mới nhất, ép kiểu| S[silver.orders · 5372]
  S -->|overwrite| G[gold.cancel_rate_by_channel · 5]

Lambda, Kappa, lakehouse

Ví dụ: lệch 3% trong 4 tháng

Tình huống giả định, thường gặp: một công ty fintech chạy kiến trúc Lambda. Luồng batch tính ngày theo UTC, luồng streaming tính theo giờ địa phương. Doanh thu theo ngày của hai luồng lệch khoảng 3%, và phải mất 4 tháng mới có người tìm ra vì sao. Sai ở tiền đề: hai bộ code cho một định nghĩa. Kiến trúc tốt là kiến trúc khiến loại bug này không có chỗ tồn tại.

Lệnh hay dùng

Lệnh Để làm gì
databricks schemas create <tầng> workspace tạo schema cho từng tầng
read_files('<glob>', format => 'csv', header => true, schema => '...') + _metadata.file_path bronze nhiều file, biết nguồn từng dòng
... QUALIFY row_number() OVER (PARTITION BY k ORDER BY ...) = 1 giữ một dòng mỗi khoá
CREATE OR REPLACE TABLE workspace.gold.... gold ghi đè toàn bộ

Lỗi hay gặp

Học tương tác →