MERGE trên Delta
MERGE INTO workspace.de.silver_orders t
USING workspace.de.stg_orders s
ON t.order_id = s.order_id
WHEN MATCHED AND s.status <> t.status THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *
Cùng logic với bài 4.4 của Track 1. UPDATE SET * / INSERT * ghép cột theo tên (DuckDB không có danh sách cột thì ghép theo vị trí). Trong bài:
| Lần | Cập nhật | Thêm | Kết quả |
|---|---|---|---|
| 1 | 148 | 400 | 5372 đơn · 70,538,094,000 (khớp Track 1) |
| 2 (chạy lại) | 0 | 0 | không đổi |
WHEN MATCHED AND s.status <> t.status: chỉ cập nhật dòng thật sự khác. Không có điều kiện này, lần chạy lại vẫn "cập nhật" cả 548 dòng của lô (lúc này đều đã có trong silver) bằng đúng giá trị cũ: kết quả không đổi, nhưng Delta vẫn viết lại các file chứa chúng. Cột so sánh có thể NULL thì dùng NOT (s.status <=> t.status) (so sánh an toàn với NULL).
Cũng như Track 1: dedupe lô trước. Hai dòng nguồn khớp cùng một dòng đích thì MERGE báo lỗi; hai dòng nguồn cùng khoá mới thì cả hai được chèn.
WHEN NOT MATCHED BY SOURCE
WHEN NOT MATCHED BY SOURCE THEN DELETE
Xoá dòng đích không có trong nguồn. Chỉ đúng khi nguồn là bản chụp đầy đủ (full snapshot) của bảng. Với lô incremental như stg_orders (548 dòng), mệnh đề này sẽ xoá 4824 đơn còn lại: một lô thiếu dữ liệu biến thành lệnh xoá hàng loạt.
Schema enforcement
Delta kiểm schema mỗi lần ghi. Ghi dữ liệu thừa cột (bài cố tình thêm revenu, gõ sai revenue), thiếu cột bắt buộc, hay sai kiểu không ép được: lỗi, không ghi gì. Đây là hàng rào chống "dữ liệu lạ chảy vào bảng" mà thư mục Parquet thuần không có.
Schema evolution: bật ở đâu
Khi nguồn thật sự thêm cột mới, bạn có thể cho phép bảng tự mở rộng schema:
MERGE WITH SCHEMA EVOLUTION INTO ... ; -- Databricks SQL
df.write.option("mergeSchema", "true").mode("append").saveAsTable(...) -- PySpark
| Tầng | Bật mở rộng schema? | Vì sao |
|---|---|---|
| Bronze | Có | Giữ nguyên văn nguồn; cột mới của nguồn không được làm job hỏng |
| Silver / gold | Không, đổi schema có chủ đích | Cột mới phải được thiết kế, đặt tên, kiểm tra; mọi người dùng bảng phụ thuộc vào schema |
Tình huống giả định, thường gặp: bảng gold bật mergeSchema "cho tiện". Một lần sửa code gõ revenu thay vì revenue: bảng gold âm thầm có thêm cột revenu, cột revenue của các dòng mới là NULL, dashboard doanh thu tụt mà không có lỗi nào.
flowchart LR STG[stg_orders · 548] -->|MERGE có điều kiện| SV[silver_orders · 5372] BAD[dữ liệu thừa cột] -->|schema enforcement| X[lỗi, không ghi]
OPTIMIZE
Mỗi lần MERGE / INSERT tạo thêm file nhỏ. OPTIMIZE workspace.de.silver_orders gộp chúng thành ít file lớn hơn để đọc nhanh hơn (Track 3, hiệu năng). Unity Catalog có thể làm việc này tự động cho bảng managed.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
MERGE INTO t USING s ON ... WHEN MATCHED AND <khác> THEN UPDATE SET * WHEN NOT MATCHED THEN INSERT * |
upsert idempotent, không ghi vô ích |
WHEN NOT MATCHED BY SOURCE THEN DELETE |
chỉ với nguồn là bản chụp đầy đủ |
MERGE WITH SCHEMA EVOLUTION INTO ... / option("mergeSchema", "true") |
cho phép thêm cột (bronze) |
OPTIMIZE <bảng> |
gộp file nhỏ |
Lỗi hay gặp
- MERGE không điều kiện cập nhật: mỗi lần chạy lại viết lại file vô ích.
NOT MATCHED BY SOURCE THEN DELETEvới lô incremental.- Bật mergeSchema ở gold: lỗi chính tả thành cột mới.