DataOps Peach

Lakehouse Engineering · Delta Lake · Bài 4/5

MERGE và schema evolution

MERGE trên Delta giống MERGE của Track 1, thêm điều kiện cập nhật để không viết lại file vô ích. Schema enforcement chặn dữ liệu sai cột; mở rộng schema là tính năng ở bronze nhưng là lỗ hổng ở gold.

Học tương tác →

MERGE trên Delta

MERGE INTO workspace.de.silver_orders t
USING workspace.de.stg_orders s
   ON t.order_id = s.order_id
WHEN MATCHED AND s.status <> t.status THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *

Cùng logic với bài 4.4 của Track 1. UPDATE SET * / INSERT * ghép cột theo tên (DuckDB không có danh sách cột thì ghép theo vị trí). Trong bài:

Lần Cập nhật Thêm Kết quả
1 148 400 5372 đơn · 70,538,094,000 (khớp Track 1)
2 (chạy lại) 0 0 không đổi

WHEN MATCHED AND s.status <> t.status: chỉ cập nhật dòng thật sự khác. Không có điều kiện này, lần chạy lại vẫn "cập nhật" cả 548 dòng của lô (lúc này đều đã có trong silver) bằng đúng giá trị cũ: kết quả không đổi, nhưng Delta vẫn viết lại các file chứa chúng. Cột so sánh có thể NULL thì dùng NOT (s.status <=> t.status) (so sánh an toàn với NULL).

Cũng như Track 1: dedupe lô trước. Hai dòng nguồn khớp cùng một dòng đích thì MERGE báo lỗi; hai dòng nguồn cùng khoá mới thì cả hai được chèn.

WHEN NOT MATCHED BY SOURCE

WHEN NOT MATCHED BY SOURCE THEN DELETE

Xoá dòng đích không có trong nguồn. Chỉ đúng khi nguồn là bản chụp đầy đủ (full snapshot) của bảng. Với lô incremental như stg_orders (548 dòng), mệnh đề này sẽ xoá 4824 đơn còn lại: một lô thiếu dữ liệu biến thành lệnh xoá hàng loạt.

Schema enforcement

Delta kiểm schema mỗi lần ghi. Ghi dữ liệu thừa cột (bài cố tình thêm revenu, gõ sai revenue), thiếu cột bắt buộc, hay sai kiểu không ép được: lỗi, không ghi gì. Đây là hàng rào chống "dữ liệu lạ chảy vào bảng" mà thư mục Parquet thuần không có.

Schema evolution: bật ở đâu

Khi nguồn thật sự thêm cột mới, bạn có thể cho phép bảng tự mở rộng schema:

MERGE WITH SCHEMA EVOLUTION INTO ... ;              -- Databricks SQL
df.write.option("mergeSchema", "true").mode("append").saveAsTable(...)   -- PySpark
Tầng Bật mở rộng schema? Vì sao
Bronze Có Giữ nguyên văn nguồn; cột mới của nguồn không được làm job hỏng
Silver / gold Không, đổi schema có chủ đích Cột mới phải được thiết kế, đặt tên, kiểm tra; mọi người dùng bảng phụ thuộc vào schema

Tình huống giả định, thường gặp: bảng gold bật mergeSchema "cho tiện". Một lần sửa code gõ revenu thay vì revenue: bảng gold âm thầm có thêm cột revenu, cột revenue của các dòng mới là NULL, dashboard doanh thu tụt mà không có lỗi nào.

flowchart LR
  STG[stg_orders · 548] -->|MERGE có điều kiện| SV[silver_orders · 5372]
  BAD[dữ liệu thừa cột] -->|schema enforcement| X[lỗi, không ghi]

OPTIMIZE

Mỗi lần MERGE / INSERT tạo thêm file nhỏ. OPTIMIZE workspace.de.silver_orders gộp chúng thành ít file lớn hơn để đọc nhanh hơn (Track 3, hiệu năng). Unity Catalog có thể làm việc này tự động cho bảng managed.

Lệnh hay dùng

Lệnh Để làm gì
MERGE INTO t USING s ON ... WHEN MATCHED AND <khác> THEN UPDATE SET * WHEN NOT MATCHED THEN INSERT * upsert idempotent, không ghi vô ích
WHEN NOT MATCHED BY SOURCE THEN DELETE chỉ với nguồn là bản chụp đầy đủ
MERGE WITH SCHEMA EVOLUTION INTO ... / option("mergeSchema", "true") cho phép thêm cột (bronze)
OPTIMIZE <bảng> gộp file nhỏ

Lỗi hay gặp

Học tương tác →