DataOps Peach

Lakehouse Engineering · Delta Lake · Bài 1/5

Parquet và lưu theo cột

Vì sao Parquet nhỏ và nhanh hơn CSV, JSON - lưu theo cột, nén theo cột, có kiểu và có min/max - và vấn đề mà Parquet một mình không giải được.

Học tương tác →

Lưu theo dòng và lưu theo cột

CSV, JSON lưu theo dòng: dòng 1 đủ 8 cột, rồi dòng 2... Đọc một cột vẫn phải lướt qua cả 8. Không có kiểu dữ liệu (mọi thứ là chữ), không có thông tin tóm tắt. JSON còn lặp tên cột ở mọi dòng.

Parquet lưu theo cột: dữ liệu chia thành các nhóm dòng (row group); trong mỗi nhóm, các giá trị của cùng một cột nằm liền nhau trong một khối. Ba hệ quả:

  1. Chỉ đọc cột cần (column pruning): SELECT status không đụng tới 7 cột kia.
  2. Nén tốt: giá trị cùng cột giống nhau nên nén mạnh; cột ít giá trị khác nhau dùng dictionary encoding (lưu từ điển + mã số).
  3. Bỏ qua khối: mỗi khối có min/max; điều kiện lọc nằm ngoài khoảng đó thì không đọc khối (predicate pushdown, Track 2 bài 1.3).

Thêm nữa: schema nằm trong file (tên cột, kiểu), nên đọc không phải đoán kiểu như CSV (Track 1, bài 1.3).

Đo trên dữ liệu của bạn

Cùng 5100 dòng, đo bằng DuckDB trên máy:

Định dạng Kích thước
JSON 935,742 byte
CSV 383,306 byte
Parquet 105,430 byte

Bên trong Parquet, cột status (9 giá trị khác nhau) chỉ tốn 2,712 byte nhờ PLAIN_DICTIONARY; order_id (gần như dòng nào cũng khác: 5020 giá trị trên 5100 dòng) tốn 25,380 byte. Khối order_id có min ORD-000001, max ORD-005020: tìm ORD-009999 thì bỏ qua cả khối.

Parquet do Spark ghi trên Databricks có kích thước và cách chia khối hơi khác, nhưng tỉ lệ giữa các định dạng tương tự.

flowchart LR
  R[5100 dòng] --> J[JSON · 936 KB · tên cột lặp]
  R --> C[CSV · 383 KB · không kiểu]
  R --> P[Parquet · 105 KB · theo cột, có kiểu, min/max]

Parquet chưa giải được gì

Parquet là định dạng file. Một "bảng" Parquet chỉ là một thư mục nhiều file, và:

Lake chỉ có thư mục Parquet lâu dần thành data swamp: không ai chắc thư mục nào đúng. Delta Lake (bài sau) giải đúng các vấn đề này bằng cách thêm một cuốn sổ cái cạnh các file Parquet.

Ví dụ: JSON 1 GB

Tình huống giả định: một file JSON log 1 GB với 30 cột tên dài (customer_shipping_address_line_1...). Có thể tới khoảng 40% dung lượng là tên cột lặp lại. Chuyển sang Parquet: tên cột chỉ lưu một lần trong schema, cộng thêm nén theo cột.

CSV vẫn có chỗ dùng

CSV dễ đọc bằng mắt, mở được bằng Excel, mọi công cụ đều hiểu: hợp cho trao đổi với bên ngoài và cho tầng nguồn (như các file raw của lab). Không hợp để lưu và truy vấn lâu dài.

Lệnh hay dùng

Lệnh Để làm gì
COPY t TO 'x.parquet' (FORMAT parquet) ghi Parquet bằng DuckDB
SELECT * FROM parquet_metadata('x.parquet') xem khối, kích thước, encoding, min/max
wc -c <file> so kích thước file

Lỗi hay gặp

Học tương tác →