Vì sao file nhỏ chậm
Đọc một file không chỉ là đọc dữ liệu. Mỗi file tốn:
- một lần mở file trên object storage (mỗi request vài chục mili giây);
- đọc footer Parquet (schema, min/max) trước khi đọc dữ liệu;
- một mục trong transaction log của Delta (log và metadata phình theo số file).
10.000 file × 2 KB chỉ là 20 MB dữ liệu. Spark gộp nhiều file nhỏ vào một task (mỗi file được tính thêm khoảng 4 MB "chi phí mở"), nên không thành 10.000 task, nhưng vẫn phải mở và đọc footer của từng file: phần lớn thời gian scan là chi phí mở file chứ không phải đọc dữ liệu. Dữ liệu càng ít trên mỗi file, phần chi phí cố định càng lớn.
Nguyên nhân phổ biến
- Streaming / micro-batch: mỗi lô nhỏ ghi vài file mới; chạy cả ngày là hàng nghìn file.
- Partition quá mịn: partition theo ngày + giờ + khách, mỗi thư mục vài dòng (bài 2.4).
repartition(n)sai trước khi ghi: n lớn hơn nhiều so với dữ liệu, mỗi partition thành một file.- Nhiều lệnh
INSERT/MERGEnhỏ liên tục.
Bài cố tình làm sai: repartition(5000) trên 5372 dòng ghi ra khoảng 5000 file, mỗi file một hai dòng.
Thuốc
OPTIMIZE: gộp file nhỏ thành file lớn (mục tiêu mặc định tới khoảng 1 GB, Databricks tự chỉnh theo kích thước bảng). Ghi version mới, không đổi dữ liệu.- Auto optimize: optimized writes gộp dữ liệu trước khi ghi; auto compaction chạy gộp nhỏ sau khi ghi. Bảng managed của Unity Catalog có thể được predictive optimization tự chạy OPTIMIZE.
- Gộp trước khi ghi:
coalesce(n)hoặcrepartition(n)với n vừa phải.
OPTIMIZE và time travel
OPTIMIZE không xoá file cũ: nó ghi file mới và đánh dấu file cũ là "đã bỏ" trong transaction log. VERSION AS OF version trước vẫn đọc được 5000 file cũ cho tới khi VACUUM dọn (mặc định giữ 7 ngày). Vì thế ngay sau OPTIMIZE, dung lượng trên storage tăng chứ chưa giảm.
Đường cong chữ U
Số partition (và số file) có điểm vừa:
flowchart LR A[quá ít: vài task khổng lồ, spill, không tận dụng core] --> B[vừa: mỗi task 100 MB - 1 GB] B --> C[quá nhiều: hàng nghìn task rất ngắn, chi phí mở file]
Quá ít partition cũng hại: vài task to không vừa bộ nhớ (spill) và phần lớn core ngồi chơi. Mục tiêu là mỗi file, mỗi task đủ lớn để chi phí cố định không đáng kể.
Trên Free Edition
- Bảng nhỏ: dù 5000 file, truy vấn vẫn chỉ mất vài giây; điều cần thấy là
numFilesvà số task trong query profile, rồi thời gian so trước / sau. - Nếu
numFilessau bước 1 nhỏ hơn 5000 nhiều, optimized writes hoặc predictive optimization đã gộp hộ; ghi lại con số bạn thấy. - Sau OPTIMIZE, chạy lại truy vấn của bước 3 để có số "sau".
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
DESCRIBE DETAIL <bảng> |
numFiles, sizeInBytes, cột partition / clustering |
OPTIMIZE <bảng> |
gộp file nhỏ |
DESCRIBE HISTORY <bảng> |
xem version OPTIMIZE |
SELECT ... FROM <bảng> VERSION AS OF <n> |
đọc version trước OPTIMIZE |
VACUUM <bảng> |
xoá file đã bỏ quá hạn giữ (mất time travel về các version đó) |
Lỗi hay gặp
- Chạy OPTIMIZE rồi kỳ vọng storage giảm ngay. File cũ còn tới khi VACUUM.
- VACUUM với thời gian giữ quá ngắn. Mất time travel, và có thể làm hỏng truy vấn đang đọc version cũ.
repartition(1)cho bảng lớn "cho gọn". Một task ghi cả bảng: chậm và dễ hết bộ nhớ.- Chỉ OPTIMIZE một lần. Stream vẫn tiếp tục đẻ file nhỏ; phải chạy định kỳ hoặc bật auto optimize.