Sự kiện CDC
Mỗi thay đổi ở nguồn thành một sự kiện:
| Cột | Ý nghĩa |
|---|---|
op |
I (insert), U (update), D (delete) |
ts |
thời điểm thay đổi (hoặc vị trí trong log) |
| các cột dữ liệu | trạng thái của dòng sau thay đổi (với D: trạng thái trước khi xoá) |
Lô của bài có 329 sự kiện: 324 U (đơn pending được hoàn tất), D cho ORD-000042, và một chuỗi I → U → D cho ORD-900002 cùng một I cho ORD-900003.
Lấy sự kiện mới nhất mỗi khoá
ORD-900002 có ba sự kiện trong cùng lô. MERGE thẳng lô thô: một khoá đã có trong đích mà khớp nhiều dòng nguồn thì MERGE báo lỗi; khoá mới thì không lỗi, I và U cùng đi vào nhánh INSERT và bản sao có hai dòng ORD-900002 (5374 dòng, Track 1 bài 4.4). Chỉ sự kiện cuối quyết định trạng thái cuối:
SELECT * FROM cdc_events
QUALIFY row_number() OVER (PARTITION BY order_id ORDER BY ts DESC) = 1
Bài học dedupe của Track 1 quay lại, với tiêu chí là thời điểm trong log. Còn 327 khoá: 324 U, 2 D, 1 I. Nếu hai sự kiện của cùng khoá có thể trùng ts, cần thêm tiêu chí phá hoà (vị trí trong log, số thứ tự).
MERGE có nhánh DELETE
MERGE INTO replica_orders t USING cdc_latest s ON t.order_id = s.order_id
WHEN MATCHED AND s.op = 'D' THEN DELETE
WHEN MATCHED THEN UPDATE SET t.status = s.status
WHEN NOT MATCHED AND s.op <> 'D' THEN INSERT (...) VALUES (...)
- D khớp → xoá:
ORD-000042biến mất như ở nguồn. - I / U khớp → cập nhật: 324 đơn.
- Chưa có, không phải D → chèn:
ORD-900003. - Chưa có và là D → bỏ qua:
ORD-900002sinh ra rồi bị xoá trong cùng lô, không bao giờ nên xuất hiện.
Kết quả: cập nhật 324, xoá 1, thêm 1; bản sao 5372 đơn, khớp nguồn (5371) cộng đơn mới. Bài chỉ SET t.status vì lô chỉ đổi status; schema hai bên giống nhau thì dùng UPDATE SET * (ở đây nguồn có thêm op, ts nên không dùng thẳng được).
Các nhánh WHEN MATCHED được xét theo thứ tự: dòng khớp đi vào nhánh đầu tiên có điều kiện đúng. Databricks bắt nhánh không điều kiện đứng cuối (đặt trước là lỗi). Nhưng hai nhánh cùng có điều kiện thì thứ tự là việc của bạn: WHEN MATCHED AND s.op IN ('U', 'D') THEN UPDATE đứng trước nhánh DELETE thì sự kiện D bị cập nhật chứ không xoá, và không có lỗi nào.
flowchart LR E[cdc_events · 329] -->|rn = 1 theo ts| L[cdc_latest · 327] L -->|D → DELETE, U → UPDATE, I → INSERT| R[replica_orders · khớp nguồn]
Chạy lại không trùng
CDC thường giao at-least-once. Chạy lại cùng lô: đơn đã xoá không còn để xoá, đơn đã chèn giờ khớp nên chỉ cập nhật bằng cùng giá trị. Số đơn không đổi. Đây vẫn là at-least-once + MERGE theo khoá của Track 1, bài 6.4.
Ví dụ: một khoá, ba sự kiện
Tình huống giả định: khách tạo đơn, sửa địa chỉ, rồi xoá trong vòng 10 phút; cả ba sự kiện rơi vào cùng một lô 15 phút. Pipeline MERGE thẳng lô thô không báo lỗi: I và U chưa khớp nên cùng được chèn, bản sao có hai dòng cho một đơn không còn tồn tại. Không ai biết cho tới khi báo cáo đếm dư. Thêm bước lấy sự kiện mới nhất: đơn không bao giờ xuất hiện trong bản sao, đúng như ở nguồn.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
... QUALIFY row_number() OVER (PARTITION BY <khoá> ORDER BY ts DESC) = 1 |
sự kiện mới nhất mỗi khoá |
WHEN MATCHED AND s.op = 'D' THEN DELETE |
áp xoá |
WHEN NOT MATCHED AND s.op <> 'D' THEN INSERT ... |
không chèn khoá đã bị xoá trong lô |
Lỗi hay gặp
- MERGE thẳng lô sự kiện thô có nhiều sự kiện cùng khoá: lỗi với khoá đã có, chèn trùng với khoá mới.
- Quên nhánh DELETE: lại quay về bug của bài trước.
- Đặt nhánh UPDATE có điều kiện bắt cả D trước nhánh DELETE: D bị cập nhật, không xoá.
- Sắp theo thời điểm nạp thay vì thời điểm trong log nguồn.