DataOps Peach

DataOps Platform · Hiệu năng · Bài 3/4

Small files và OPTIMIZE

Mỗi file có một chi phí cố định dù chỉ chứa vài dòng. Bảng 5372 dòng nằm trong 5000 file đọc chậm hơn hẳn cùng bảng trong một file. Đo numFiles, gộp bằng OPTIMIZE, đo lại.

Học tương tác →

Vì sao file nhỏ chậm

Đọc một file không chỉ là đọc dữ liệu. Mỗi file tốn:

10.000 file × 2 KB chỉ là 20 MB dữ liệu. Spark gộp nhiều file nhỏ vào một task (mỗi file được tính thêm khoảng 4 MB "chi phí mở"), nên không thành 10.000 task, nhưng vẫn phải mở và đọc footer của từng file: phần lớn thời gian scan là chi phí mở file chứ không phải đọc dữ liệu. Dữ liệu càng ít trên mỗi file, phần chi phí cố định càng lớn.

Nguyên nhân phổ biến

Bài cố tình làm sai: repartition(5000) trên 5372 dòng ghi ra khoảng 5000 file, mỗi file một hai dòng.

Thuốc

OPTIMIZE và time travel

OPTIMIZE không xoá file cũ: nó ghi file mới và đánh dấu file cũ là "đã bỏ" trong transaction log. VERSION AS OF version trước vẫn đọc được 5000 file cũ cho tới khi VACUUM dọn (mặc định giữ 7 ngày). Vì thế ngay sau OPTIMIZE, dung lượng trên storage tăng chứ chưa giảm.

Đường cong chữ U

Số partition (và số file) có điểm vừa:

flowchart LR
  A[quá ít: vài task khổng lồ, spill, không tận dụng core] --> B[vừa: mỗi task 100 MB - 1 GB]
  B --> C[quá nhiều: hàng nghìn task rất ngắn, chi phí mở file]

Quá ít partition cũng hại: vài task to không vừa bộ nhớ (spill) và phần lớn core ngồi chơi. Mục tiêu là mỗi file, mỗi task đủ lớn để chi phí cố định không đáng kể.

Trên Free Edition

Lệnh hay dùng

Lệnh Để làm gì
DESCRIBE DETAIL <bảng> numFiles, sizeInBytes, cột partition / clustering
OPTIMIZE <bảng> gộp file nhỏ
DESCRIBE HISTORY <bảng> xem version OPTIMIZE
SELECT ... FROM <bảng> VERSION AS OF <n> đọc version trước OPTIMIZE
VACUUM <bảng> xoá file đã bỏ quá hạn giữ (mất time travel về các version đó)

Lỗi hay gặp

Học tương tác →