DataOps Peach

Lakehouse Engineering · Ingestion: lấy dữ liệu ra khỏi nguồn · Bài 1/4

Full dump, timestamp, CDC

Ba cách lấy dữ liệu ra khỏi một database nguồn, mỗi cách thấy được gì và bỏ sót gì - đặc biệt là DELETE - và ba câu hỏi phải trả lời cho mọi nguồn.

Học tương tác →

Ngoài đời không ai đưa bạn file CSV

Dữ liệu thật nằm trong database của app (PostgreSQL, MySQL...), sau API, hay trong một thư mục file đổ về liên tục. Ingestion là đưa nó vào bronze sao cho trả lời được ba câu hỏi cho mọi nguồn:

  1. Cái gì mới hoặc đã đổi từ lần trước?
  2. Cái gì đã bị xoá?
  3. Chạy lại có trùng không?

Ba cách đọc một database

Cách Làm gì Thấy DELETE? Tải lên nguồn
Full dump Đọc lại cả bảng mỗi lần Có (so hai bản) Nặng, tăng theo dữ liệu
Incremental theo timestamp WHERE updated_at > <lần trước> Không Nhẹ
CDC (Change Data Capture) Đọc transaction log (MySQL binlog, PostgreSQL WAL) Có, theo đúng thứ tự Gần như không

Full dump đơn giản nhưng đập vào database production mỗi lần chạy, và chậm dần theo dữ liệu. (Sqoop, công cụ full dump kinh điển của thời Hadoop, đã ngừng phát triển.)

Incremental theo timestamp nhẹ, nhưng có ba bẫy:

CDC đọc chính log mà database dùng để ghi: mọi INSERT, UPDATE, DELETE đã commit, theo thứ tự, không thêm tải truy vấn. Công cụ: Debezium (mã nguồn mở, qua Kafka), Fivetran / Airbyte (dịch vụ), Lakeflow Connect (Databricks).

Trong bài

Bản sao nạp theo updated_at: 324 đơn đổi trạng thái tới đủ. Nhưng ORD-000042 đã bị xoá ở nguồn vẫn nằm trong bản sao: nguồn 5371 đơn, bản sao 5372. Không lỗi nào, pipeline xanh.

flowchart LR
  S[source_orders] -->|UPDATE · updated_at mới| M[MERGE theo timestamp]
  S -.->|DELETE · không dấu vết| X[rơi mất]
  M --> R[replica_orders · vẫn còn ORD-000042]

Ví dụ: GDPR

Tình huống giả định: 12.000 khách yêu cầu xoá dữ liệu cá nhân theo GDPR, app xoá họ khỏi database. Kho dữ liệu nạp theo timestamp nên vẫn giữ nguyên 12.000 người đó, qua hàng nghìn lần chạy "thành công". Phát hiện khi kiểm toán, không phải khi chạy pipeline.

Chọn cách cho từng nguồn

Lệnh hay dùng

Lệnh Để làm gì
SELECT ... WHERE updated_at > <mốc lần trước> incremental theo timestamp
MERGE INTO <bản sao> USING (<phần đổi>) ON <khoá> ... áp phần đổi, chạy lại không trùng
SELECT (SELECT count(*) FROM <nguồn>), (SELECT count(*) FROM <bản sao>) đối chiếu số dòng nguồn và đích

Lỗi hay gặp

Học tương tác →