Lakehouse Engineering · Module 03
Ingestion: lấy dữ liệu ra khỏi nguồn
Ngoài đời không ai đưa bạn file CSV. Kéo dữ liệu từ database, API và thư mục file sao cho thấy được cái mới, cái bị xoá, và chạy lại không trùng.
Học xong bạn làm được
- So sánh full dump, incremental theo timestamp và CDC
- Áp sự kiện CDC (I/U/D) vào silver bằng MERGE
- Đọc API có phân trang con trỏ và retry backoff
- Dùng Auto Loader với checkpoint và availableNow
Bài học
- Full dump, timestamp, CDC
Ba cách lấy dữ liệu ra khỏi một database nguồn, mỗi cách thấy được gì và bỏ sót gì - đặc biệt là DELETE - và ba câu hỏi phải trả lời cho mọi nguồn.
- Áp CDC bằng MERGE
Sự kiện CDC mang op I / U / D. Gom về sự kiện mới nhất của mỗi khoá rồi MERGE với nhánh DELETE - bản sao khớp nguồn, kể cả những dòng đã bị xoá, và chạy lại không trùng.
- Nạp từ API
Đọc API theo trang bằng con trỏ thay vì offset, chờ backoff khi bị giới hạn tần suất, lưu con trỏ để chạy lại đi tiếp chứ không làm lại - và vẫn MERGE theo khoá ở cuối.
- Auto Loader và checkpoint
Tự viết sổ "file nào đã xử lý" thì vỡ khi crash và chậm khi có triệu file. Auto Loader làm việc đó bằng checkpoint; trigger availableNow cho cách chạy như batch. Xoá checkpoint là xử lý lại từ đầu.