DataOps Peach

DataOps Platform · Hiệu năng · Bài 4/4

Partition, Z-order, liquid clustering

Layout dữ liệu quyết định truy vấn phải đọc bao nhiêu file. Partition chỉ hợp cột ít giá trị trên bảng lớn; liquid clustering thay cả partition lẫn Z-order và đổi cột được mà không viết lại bảng. Chọn bằng số đo.

Học tương tác →

Kho dữ liệu không dùng index như OLTP

Database giao dịch (OLTP) tìm một dòng bằng index B-tree. Bảng phân tích (OLAP) quét hàng triệu dòng của vài cột từ file Parquet trên object storage, không có B-tree: tăng tốc là đọc ít file hơn.

OLAP cube (tính trước mọi tổ hợp chiều) ít còn được dựng: compute rẻ nên quét thẳng file đã sắp xếp tốt thường đủ nhanh.

Data skipping

Delta ghi min / max của từng cột cho mỗi file (mặc định 32 cột đầu) vào transaction log. Truy vấn WHERE customer_id = 'C0042' bỏ qua mọi file có khoảng min–max không chứa C0042 mà không cần mở file. Số file bị bỏ qua là files pruned trong query profile.

Data skipping chỉ hiệu quả khi dữ liệu được sắp xếp theo cột lọc.

Ba cách sắp xếp

Partition (kiểu Hive). Mỗi giá trị của cột partition là một thư mục: customer_id=C0042/. Lọc theo cột đó thì chỉ đọc một thư mục. Nhưng:

Tình huống giả định: bảng Parquet kiểu Hive partition theo customer_id có 2,3 triệu thư mục; chỉ riêng liệt kê file đã mất 40 phút. Delta lấy danh sách file từ transaction log nên không liệt kê thư mục, nhưng vẫn mang hàng triệu file nhỏ. Chuyển sang Delta, bỏ partition, Z-order theo customer_id: truy vấn từ 1 tiếng xuống 45 giây.

Z-order. OPTIMIZE t ZORDER BY (customer_id, product_id) sắp lại dữ liệu theo đường cong Z để các dòng gần nhau về nhiều cột cùng nằm trong ít file, nên data skipping hiệu quả cho cả hai cột. Phải chạy lại sau mỗi đợt dữ liệu mới và mỗi lần là viết lại nhiều file; đổi cột Z-order là viết lại cả bảng.

Liquid clustering. CLUSTER BY (customer_id, product_id) khi tạo bảng. OPTIMIZE gom dữ liệu theo cụm tăng dần, chỉ đụng tới file chưa được gom. Đổi cột bằng ALTER TABLE ... CLUSTER BY (...) mà không viết lại dữ liệu cũ. Tối đa 4 cột. Databricks khuyên dùng cho mọi bảng mới thay partition và Z-order (một bảng không dùng chung được với hai cách kia); CLUSTER BY AUTO để predictive optimization tự chọn cột.

Partition Z-order Liquid clustering
Hợp với cột ít giá trị, bảng rất lớn lọc theo 1–4 cột gần như mọi bảng mới
Đổi cột viết lại bảng viết lại bảng ALTER TABLE, không viết lại
Dữ liệu mới vào đúng thư mục phải OPTIMIZE ZORDER lại, viết lại nhiều file OPTIMIZE tăng dần
Rủi ro nhiều thư mục, small files tốn compute mỗi lần chạy ít

Trong bài

Ba bảng cùng 5372 đơn: silver.orders (không layout), fact_partitioned (partition theo customer_id, cố tình sai: 501 partition cho 5372 dòng) và fact_clustered (liquid clustering theo customer_id, product_id). Cùng truy vấn khách C0042 (10 đơn, 94.789.000) trên hai bảng, mở query profile, so files read / files pruned và thời gian.

Kết quả dự kiến: bảng partition có khoảng 501 file, đọc 1 và bỏ khoảng 500; bảng clustered chỉ có 1 file, đọc 1 và bỏ 0. Đừng kết luận partition "bỏ qua tốt hơn": nó bỏ được 500 file chỉ vì chính nó đẻ ra 500 file thừa. Với bảng nhỏ, một file là layout tốt nhất; data skipping trên bảng clustered chỉ thấy rõ khi bảng có nhiều file (thử nhân dữ liệu như bài 2.1).

flowchart LR
  S[silver.orders · 5372 đơn] --> P[PARTITIONED BY customer_id · 501 thư mục]
  S --> C[CLUSTER BY customer_id, product_id · 1 file, bảng nhỏ]
  P --> Q[WHERE customer_id = C0042]
  C --> Q

Lỗi hay gặp

Dọn sau module: các bảng workspace.de.revenue_by_customer, skew_merge, skew_bcast, skew_salted, orders_small, fact_partitioned, fact_clustered chỉ để học; xoá từng bảng bằng DROP TABLE IF EXISTS. Đừng DROP SCHEMA workspace.de CASCADE: lệnh đó xoá cả volume /Volumes/workspace/de/raw (CSV nguồn của job Track 2) và job bronze sẽ hỏng.

Học tương tác →