Lưu theo dòng và lưu theo cột
CSV, JSON lưu theo dòng: dòng 1 đủ 8 cột, rồi dòng 2... Đọc một cột vẫn phải lướt qua cả 8. Không có kiểu dữ liệu (mọi thứ là chữ), không có thông tin tóm tắt. JSON còn lặp tên cột ở mọi dòng.
Parquet lưu theo cột: dữ liệu chia thành các nhóm dòng (row group); trong mỗi nhóm, các giá trị của cùng một cột nằm liền nhau trong một khối. Ba hệ quả:
- Chỉ đọc cột cần (column pruning):
SELECT statuskhông đụng tới 7 cột kia. - Nén tốt: giá trị cùng cột giống nhau nên nén mạnh; cột ít giá trị khác nhau dùng dictionary encoding (lưu từ điển + mã số).
- Bỏ qua khối: mỗi khối có min/max; điều kiện lọc nằm ngoài khoảng đó thì không đọc khối (predicate pushdown, Track 2 bài 1.3).
Thêm nữa: schema nằm trong file (tên cột, kiểu), nên đọc không phải đoán kiểu như CSV (Track 1, bài 1.3).
Đo trên dữ liệu của bạn
Cùng 5100 dòng, đo bằng DuckDB trên máy:
| Định dạng | Kích thước |
|---|---|
| JSON | 935,742 byte |
| CSV | 383,306 byte |
| Parquet | 105,430 byte |
Bên trong Parquet, cột status (9 giá trị khác nhau) chỉ tốn 2,712 byte nhờ PLAIN_DICTIONARY; order_id (gần như dòng nào cũng khác: 5020 giá trị trên 5100 dòng) tốn 25,380 byte. Khối order_id có min ORD-000001, max ORD-005020: tìm ORD-009999 thì bỏ qua cả khối.
Parquet do Spark ghi trên Databricks có kích thước và cách chia khối hơi khác, nhưng tỉ lệ giữa các định dạng tương tự.
flowchart LR R[5100 dòng] --> J[JSON · 936 KB · tên cột lặp] R --> C[CSV · 383 KB · không kiểu] R --> P[Parquet · 105 KB · theo cột, có kiểu, min/max]
Parquet chưa giải được gì
Parquet là định dạng file. Một "bảng" Parquet chỉ là một thư mục nhiều file, và:
- Không có transaction. Job ghi 100 file, chết ở file 60: thư mục còn 60 file mới lẫn với dữ liệu cũ, người đọc thấy nửa bảng.
- Không biết file nào thuộc phiên bản nào: không quay lại được, không biết ai đổi gì.
- Ghi đồng thời hai job vào cùng thư mục là đè lên nhau.
Lake chỉ có thư mục Parquet lâu dần thành data swamp: không ai chắc thư mục nào đúng. Delta Lake (bài sau) giải đúng các vấn đề này bằng cách thêm một cuốn sổ cái cạnh các file Parquet.
Ví dụ: JSON 1 GB
Tình huống giả định: một file JSON log 1 GB với 30 cột tên dài (customer_shipping_address_line_1...). Có thể tới khoảng 40% dung lượng là tên cột lặp lại. Chuyển sang Parquet: tên cột chỉ lưu một lần trong schema, cộng thêm nén theo cột.
CSV vẫn có chỗ dùng
CSV dễ đọc bằng mắt, mở được bằng Excel, mọi công cụ đều hiểu: hợp cho trao đổi với bên ngoài và cho tầng nguồn (như các file raw của lab). Không hợp để lưu và truy vấn lâu dài.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
COPY t TO 'x.parquet' (FORMAT parquet) |
ghi Parquet bằng DuckDB |
SELECT * FROM parquet_metadata('x.parquet') |
xem khối, kích thước, encoding, min/max |
wc -c <file> |
so kích thước file |
Lỗi hay gặp
- Lưu bảng phân tích lâu dài bằng CSV/JSON.
- Tưởng Parquet có transaction: job chết giữa chừng vẫn để lại file dở.
- Chọn Parquet cho file nhỏ cần người đọc trực tiếp.