Ngoài đời không ai đưa bạn file CSV
Dữ liệu thật nằm trong database của app (PostgreSQL, MySQL...), sau API, hay trong một thư mục file đổ về liên tục. Ingestion là đưa nó vào bronze sao cho trả lời được ba câu hỏi cho mọi nguồn:
- Cái gì mới hoặc đã đổi từ lần trước?
- Cái gì đã bị xoá?
- Chạy lại có trùng không?
Ba cách đọc một database
| Cách | Làm gì | Thấy DELETE? | Tải lên nguồn |
|---|---|---|---|
| Full dump | Đọc lại cả bảng mỗi lần | Có (so hai bản) | Nặng, tăng theo dữ liệu |
| Incremental theo timestamp | WHERE updated_at > <lần trước> |
Không | Nhẹ |
| CDC (Change Data Capture) | Đọc transaction log (MySQL binlog, PostgreSQL WAL) | Có, theo đúng thứ tự | Gần như không |
Full dump đơn giản nhưng đập vào database production mỗi lần chạy, và chậm dần theo dữ liệu. (Sqoop, công cụ full dump kinh điển của thời Hadoop, đã ngừng phát triển.)
Incremental theo timestamp nhẹ, nhưng có ba bẫy:
- Không thấy DELETE: dòng bị xoá không còn để mang
updated_atmới. - App quên cập nhật
updated_atở một chỗ sửa dữ liệu: thay đổi đó không bao giờ tới. - Ranh giới thời gian: transaction bắt đầu lúc 23:59:58 nhưng commit lúc 00:00:03, đóng dấu
updated_at = 23:59:58. Lần nạp lúc 23:59:59 chưa thấy nó (chưa commit); lần sau đọc> 23:59:59thì bỏ qua nó. Cách đỡ: đọc lùi một khoảng an toàn và MERGE theo khoá.
CDC đọc chính log mà database dùng để ghi: mọi INSERT, UPDATE, DELETE đã commit, theo thứ tự, không thêm tải truy vấn. Công cụ: Debezium (mã nguồn mở, qua Kafka), Fivetran / Airbyte (dịch vụ), Lakeflow Connect (Databricks).
Trong bài
Bản sao nạp theo updated_at: 324 đơn đổi trạng thái tới đủ. Nhưng ORD-000042 đã bị xoá ở nguồn vẫn nằm trong bản sao: nguồn 5371 đơn, bản sao 5372. Không lỗi nào, pipeline xanh.
flowchart LR S[source_orders] -->|UPDATE · updated_at mới| M[MERGE theo timestamp] S -.->|DELETE · không dấu vết| X[rơi mất] M --> R[replica_orders · vẫn còn ORD-000042]
Ví dụ: GDPR
Tình huống giả định: 12.000 khách yêu cầu xoá dữ liệu cá nhân theo GDPR, app xoá họ khỏi database. Kho dữ liệu nạp theo timestamp nên vẫn giữ nguyên 12.000 người đó, qua hàng nghìn lần chạy "thành công". Phát hiện khi kiểm toán, không phải khi chạy pipeline.
Chọn cách cho từng nguồn
- Bảng nhỏ (danh mục sản phẩm, vài nghìn dòng): full dump là đủ và đơn giản nhất.
- Bảng lớn, nghiệp vụ không bao giờ xoá cứng (chỉ đánh dấu
is_deleted): timestamp + đọc lùi + MERGE. - Bảng lớn có DELETE thật, cần đúng: CDC.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
SELECT ... WHERE updated_at > <mốc lần trước> |
incremental theo timestamp |
MERGE INTO <bản sao> USING (<phần đổi>) ON <khoá> ... |
áp phần đổi, chạy lại không trùng |
SELECT (SELECT count(*) FROM <nguồn>), (SELECT count(*) FROM <bản sao>) |
đối chiếu số dòng nguồn và đích |
Lỗi hay gặp
- Tin incremental theo timestamp thấy được mọi thay đổi.
- Đọc đúng mốc
> lần trướckhông chừa khoảng an toàn cho transaction commit muộn. - Không bao giờ đối chiếu số dòng nguồn và đích, nên DELETE bị rơi không ai biết.