DataOps Peach

Lakehouse Engineering · Ingestion: lấy dữ liệu ra khỏi nguồn · Bài 2/4

Áp CDC bằng MERGE

Sự kiện CDC mang op I / U / D. Gom về sự kiện mới nhất của mỗi khoá rồi MERGE với nhánh DELETE - bản sao khớp nguồn, kể cả những dòng đã bị xoá, và chạy lại không trùng.

Học tương tác →

Sự kiện CDC

Mỗi thay đổi ở nguồn thành một sự kiện:

Cột Ý nghĩa
op I (insert), U (update), D (delete)
ts thời điểm thay đổi (hoặc vị trí trong log)
các cột dữ liệu trạng thái của dòng sau thay đổi (với D: trạng thái trước khi xoá)

Lô của bài có 329 sự kiện: 324 U (đơn pending được hoàn tất), D cho ORD-000042, và một chuỗi I → U → D cho ORD-900002 cùng một I cho ORD-900003.

Lấy sự kiện mới nhất mỗi khoá

ORD-900002 có ba sự kiện trong cùng lô. MERGE thẳng lô thô: một khoá đã có trong đích mà khớp nhiều dòng nguồn thì MERGE báo lỗi; khoá mới thì không lỗi, I và U cùng đi vào nhánh INSERT và bản sao có hai dòng ORD-900002 (5374 dòng, Track 1 bài 4.4). Chỉ sự kiện cuối quyết định trạng thái cuối:

SELECT * FROM cdc_events
QUALIFY row_number() OVER (PARTITION BY order_id ORDER BY ts DESC) = 1

Bài học dedupe của Track 1 quay lại, với tiêu chí là thời điểm trong log. Còn 327 khoá: 324 U, 2 D, 1 I. Nếu hai sự kiện của cùng khoá có thể trùng ts, cần thêm tiêu chí phá hoà (vị trí trong log, số thứ tự).

MERGE có nhánh DELETE

MERGE INTO replica_orders t USING cdc_latest s ON t.order_id = s.order_id
WHEN MATCHED AND s.op = 'D' THEN DELETE
WHEN MATCHED THEN UPDATE SET t.status = s.status
WHEN NOT MATCHED AND s.op <> 'D' THEN INSERT (...) VALUES (...)

Kết quả: cập nhật 324, xoá 1, thêm 1; bản sao 5372 đơn, khớp nguồn (5371) cộng đơn mới. Bài chỉ SET t.status vì lô chỉ đổi status; schema hai bên giống nhau thì dùng UPDATE SET * (ở đây nguồn có thêm op, ts nên không dùng thẳng được).

Các nhánh WHEN MATCHED được xét theo thứ tự: dòng khớp đi vào nhánh đầu tiên có điều kiện đúng. Databricks bắt nhánh không điều kiện đứng cuối (đặt trước là lỗi). Nhưng hai nhánh cùng có điều kiện thì thứ tự là việc của bạn: WHEN MATCHED AND s.op IN ('U', 'D') THEN UPDATE đứng trước nhánh DELETE thì sự kiện D bị cập nhật chứ không xoá, và không có lỗi nào.

flowchart LR
  E[cdc_events · 329] -->|rn = 1 theo ts| L[cdc_latest · 327]
  L -->|D → DELETE, U → UPDATE, I → INSERT| R[replica_orders · khớp nguồn]

Chạy lại không trùng

CDC thường giao at-least-once. Chạy lại cùng lô: đơn đã xoá không còn để xoá, đơn đã chèn giờ khớp nên chỉ cập nhật bằng cùng giá trị. Số đơn không đổi. Đây vẫn là at-least-once + MERGE theo khoá của Track 1, bài 6.4.

Ví dụ: một khoá, ba sự kiện

Tình huống giả định: khách tạo đơn, sửa địa chỉ, rồi xoá trong vòng 10 phút; cả ba sự kiện rơi vào cùng một lô 15 phút. Pipeline MERGE thẳng lô thô không báo lỗi: I và U chưa khớp nên cùng được chèn, bản sao có hai dòng cho một đơn không còn tồn tại. Không ai biết cho tới khi báo cáo đếm dư. Thêm bước lấy sự kiện mới nhất: đơn không bao giờ xuất hiện trong bản sao, đúng như ở nguồn.

Lệnh hay dùng

Lệnh Để làm gì
... QUALIFY row_number() OVER (PARTITION BY <khoá> ORDER BY ts DESC) = 1 sự kiện mới nhất mỗi khoá
WHEN MATCHED AND s.op = 'D' THEN DELETE áp xoá
WHEN NOT MATCHED AND s.op <> 'D' THEN INSERT ... không chèn khoá đã bị xoá trong lô

Lỗi hay gặp

Học tương tác →