Bài toán thư mục file
Nguồn đổ file vào một thư mục liên tục (export mỗi giờ, log, file từ đối tác). Pipeline phải xử lý mỗi file đúng một lần: không bỏ sót file mới, không đọc lại file cũ.
Cách tự làm: liệt kê thư mục, so với danh sách "đã xử lý" lưu đâu đó, đọc phần chênh, rồi cập nhật danh sách. Vỡ ở chỗ: crash giữa "đọc xong" và "cập nhật danh sách" thì lần sau đọc lại (trùng) hoặc ngược lại (mất); liệt kê một thư mục triệu file trên cloud storage mất hàng phút mỗi lần.
Auto Loader
(spark.readStream.format("cloudFiles")
.option("cloudFiles.format", "csv")
.option("header", "true")
.option("cloudFiles.schemaLocation", ck + "/schema")
.load(src)
.writeStream.option("checkpointLocation", ck)
.trigger(availableNow=True)
.toTable("workspace.bronze.orders_stream"))
cloudFiles(Auto Loader) tự phát hiện file mới và ghi file nào đã xử lý vào checkpoint. Mặc định nó vẫn liệt kê thư mục (directory listing); thư mục rất lớn thì dùng chế độ file notification để nhận sự kiện từ cloud storage thay vì liệt kê.- Checkpoint cùng với commit của bảng Delta cho exactly-once: mỗi file vào bảng đúng một lần, kể cả khi job chết giữa chừng.
schemaLocation: nơi Auto Loader lưu schema đã suy ra; với CSV, mặc định mọi cột là chuỗi, thêm cột_rescued_datagiữ những giá trị không khớp schema.trigger(availableNow=True): xử lý hết file đang có rồi dừng. Viết như streaming, chạy theo lịch và trả tiền như batch.processingTime="1 minute"thì chạy liên tục, kiểm file mới mỗi phút (Track 1, Module 06: độ trễ có tạo ra giá trị không?). Serverless (Free Edition) chỉ nhậnavailableNow.
Cùng một API cho cả batch và stream: đổi trigger là đổi cách chạy, không phải viết lại.
Trong bài
| Bước | File trong incoming | Dòng trong bảng |
|---|---|---|
| Chạy lần đầu | 4 | 440 |
| Chạy lại, không có file mới | 4 | 440 |
| File thứ 5 tới, chạy lại | 5 | 550 |
| Xoá checkpoint, chạy lại | 5 | 1100 (550 đơn) |
Dọn sau bài: DROP TABLE IF EXISTS workspace.bronze.orders_stream và xoá thư mục checkpoint (databricks fs rm -r dbfs:/Volumes/workspace/de/raw/_checkpoints/orders_stream). Các bảng, view và file khác của Module 03 (source_orders, replica_orders, cdc_events, cdc_latest, incoming/, raw/api/) đi theo DROP SCHEMA ... CASCADE khi học xong track (bài 1.1).
Checkpoint là trạng thái, không phải rác
- Mỗi stream một checkpoint. Hai stream dùng chung một checkpoint sẽ ghi đè trạng thái của nhau.
- Xoá checkpoint = xử lý lại từ đầu. Với sink append, mọi dữ liệu bị nhân đôi (như bài). Với sink MERGE theo khoá (qua
foreachBatch), xử lý lại chỉ tốn thời gian, kết quả không đổi. Đây lại là bài học idempotency của Track 1. - Đổi logic lớn (đổi nguồn, đổi schema) thường cần checkpoint mới, nên hãy chắc sink đích chịu được việc xử lý lại.
flowchart LR F[incoming/ · file đổ về] --> A[Auto Loader] A <--> C[checkpoint · file đã xử lý] A -->|append| B[bronze.orders_stream]
Ví dụ: 50 dòng thành 800 dòng
Tình huống giả định, thường gặp: một script "đọc file mới" bắt đầu với 50 dòng Python. Sau hai năm thành 800 dòng xử lý crash, file trùng tên, file ghi dở, và lệnh liệt kê thư mục S3 mất 12 phút mỗi lần chạy. Thay bằng Auto Loader: khoảng 12 dòng, và phần theo dõi file do nền tảng lo.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
spark.readStream.format("cloudFiles").option("cloudFiles.format", "csv") |
đọc file mới bằng Auto Loader |
.option("cloudFiles.schemaLocation", ...) |
nơi lưu schema suy ra |
.writeStream.option("checkpointLocation", ...) |
checkpoint của stream |
.trigger(availableNow=True) |
xử lý hết rồi dừng, như batch |
Lỗi hay gặp
- Xoá checkpoint "cho sạch" khi sink là append.
- Hai stream chung một checkpoint.
- Chạy stream liên tục cho dữ liệu chỉ cần cập nhật mỗi giờ.
- Tự viết sổ theo dõi file thay vì dùng Auto Loader.