DataOps Peach

Lakehouse Engineering · Module 03

Ingestion: lấy dữ liệu ra khỏi nguồn

Ngoài đời không ai đưa bạn file CSV. Kéo dữ liệu từ database, API và thư mục file sao cho thấy được cái mới, cái bị xoá, và chạy lại không trùng.

Học tương tác →

Học xong bạn làm được

Bài học

  1. Full dump, timestamp, CDC

    Ba cách lấy dữ liệu ra khỏi một database nguồn, mỗi cách thấy được gì và bỏ sót gì - đặc biệt là DELETE - và ba câu hỏi phải trả lời cho mọi nguồn.

  2. Áp CDC bằng MERGE

    Sự kiện CDC mang op I / U / D. Gom về sự kiện mới nhất của mỗi khoá rồi MERGE với nhánh DELETE - bản sao khớp nguồn, kể cả những dòng đã bị xoá, và chạy lại không trùng.

  3. Nạp từ API

    Đọc API theo trang bằng con trỏ thay vì offset, chờ backoff khi bị giới hạn tần suất, lưu con trỏ để chạy lại đi tiếp chứ không làm lại - và vẫn MERGE theo khoá ở cuối.

  4. Auto Loader và checkpoint

    Tự viết sổ "file nào đã xử lý" thì vỡ khi crash và chậm khi có triệu file. Auto Loader làm việc đó bằng checkpoint; trigger availableNow cho cách chạy như batch. Xoá checkpoint là xử lý lại từ đầu.