DataOps Peach

Lakehouse Engineering · Ingestion: lấy dữ liệu ra khỏi nguồn · Bài 4/4

Auto Loader và checkpoint

Tự viết sổ "file nào đã xử lý" thì vỡ khi crash và chậm khi có triệu file. Auto Loader làm việc đó bằng checkpoint; trigger availableNow cho cách chạy như batch. Xoá checkpoint là xử lý lại từ đầu.

Học tương tác →

Bài toán thư mục file

Nguồn đổ file vào một thư mục liên tục (export mỗi giờ, log, file từ đối tác). Pipeline phải xử lý mỗi file đúng một lần: không bỏ sót file mới, không đọc lại file cũ.

Cách tự làm: liệt kê thư mục, so với danh sách "đã xử lý" lưu đâu đó, đọc phần chênh, rồi cập nhật danh sách. Vỡ ở chỗ: crash giữa "đọc xong" và "cập nhật danh sách" thì lần sau đọc lại (trùng) hoặc ngược lại (mất); liệt kê một thư mục triệu file trên cloud storage mất hàng phút mỗi lần.

Auto Loader

(spark.readStream.format("cloudFiles")
   .option("cloudFiles.format", "csv")
   .option("header", "true")
   .option("cloudFiles.schemaLocation", ck + "/schema")
   .load(src)
 .writeStream.option("checkpointLocation", ck)
   .trigger(availableNow=True)
   .toTable("workspace.bronze.orders_stream"))

Cùng một API cho cả batch và stream: đổi trigger là đổi cách chạy, không phải viết lại.

Trong bài

Bước File trong incoming Dòng trong bảng
Chạy lần đầu 4 440
Chạy lại, không có file mới 4 440
File thứ 5 tới, chạy lại 5 550
Xoá checkpoint, chạy lại 5 1100 (550 đơn)

Dọn sau bài: DROP TABLE IF EXISTS workspace.bronze.orders_stream và xoá thư mục checkpoint (databricks fs rm -r dbfs:/Volumes/workspace/de/raw/_checkpoints/orders_stream). Các bảng, view và file khác của Module 03 (source_orders, replica_orders, cdc_events, cdc_latest, incoming/, raw/api/) đi theo DROP SCHEMA ... CASCADE khi học xong track (bài 1.1).

Checkpoint là trạng thái, không phải rác

flowchart LR
  F[incoming/ · file đổ về] --> A[Auto Loader]
  A <--> C[checkpoint · file đã xử lý]
  A -->|append| B[bronze.orders_stream]

Ví dụ: 50 dòng thành 800 dòng

Tình huống giả định, thường gặp: một script "đọc file mới" bắt đầu với 50 dòng Python. Sau hai năm thành 800 dòng xử lý crash, file trùng tên, file ghi dở, và lệnh liệt kê thư mục S3 mất 12 phút mỗi lần chạy. Thay bằng Auto Loader: khoảng 12 dòng, và phần theo dõi file do nền tảng lo.

Lệnh hay dùng

Lệnh Để làm gì
spark.readStream.format("cloudFiles").option("cloudFiles.format", "csv") đọc file mới bằng Auto Loader
.option("cloudFiles.schemaLocation", ...) nơi lưu schema suy ra
.writeStream.option("checkpointLocation", ...) checkpoint của stream
.trigger(availableNow=True) xử lý hết rồi dừng, như batch

Lỗi hay gặp

Học tương tác →