Kho dữ liệu không dùng index như OLTP
Database giao dịch (OLTP) tìm một dòng bằng index B-tree. Bảng phân tích (OLAP) quét hàng triệu dòng của vài cột từ file Parquet trên object storage, không có B-tree: tăng tốc là đọc ít file hơn.
OLAP cube (tính trước mọi tổ hợp chiều) ít còn được dựng: compute rẻ nên quét thẳng file đã sắp xếp tốt thường đủ nhanh.
Data skipping
Delta ghi min / max của từng cột cho mỗi file (mặc định 32 cột đầu) vào transaction log. Truy vấn WHERE customer_id = 'C0042' bỏ qua mọi file có khoảng min–max không chứa C0042 mà không cần mở file. Số file bị bỏ qua là files pruned trong query profile.
Data skipping chỉ hiệu quả khi dữ liệu được sắp xếp theo cột lọc.
Ba cách sắp xếp
Partition (kiểu Hive). Mỗi giá trị của cột partition là một thư mục: customer_id=C0042/. Lọc theo cột đó thì chỉ đọc một thư mục. Nhưng:
- chỉ hợp cột ít giá trị (ngày, quốc gia), mỗi partition nên ≥ 1 GB;
- bảng dưới khoảng 1 TB thì Databricks khuyên đừng partition;
- cột nhiều giá trị là thảm hoạ: mỗi khách một thư mục, mỗi thư mục vài file nhỏ (bài 2.3).
Tình huống giả định: bảng Parquet kiểu Hive partition theo customer_id có 2,3 triệu thư mục; chỉ riêng liệt kê file đã mất 40 phút. Delta lấy danh sách file từ transaction log nên không liệt kê thư mục, nhưng vẫn mang hàng triệu file nhỏ. Chuyển sang Delta, bỏ partition, Z-order theo customer_id: truy vấn từ 1 tiếng xuống 45 giây.
Z-order. OPTIMIZE t ZORDER BY (customer_id, product_id) sắp lại dữ liệu theo đường cong Z để các dòng gần nhau về nhiều cột cùng nằm trong ít file, nên data skipping hiệu quả cho cả hai cột. Phải chạy lại sau mỗi đợt dữ liệu mới và mỗi lần là viết lại nhiều file; đổi cột Z-order là viết lại cả bảng.
Liquid clustering. CLUSTER BY (customer_id, product_id) khi tạo bảng. OPTIMIZE gom dữ liệu theo cụm tăng dần, chỉ đụng tới file chưa được gom. Đổi cột bằng ALTER TABLE ... CLUSTER BY (...) mà không viết lại dữ liệu cũ. Tối đa 4 cột. Databricks khuyên dùng cho mọi bảng mới thay partition và Z-order (một bảng không dùng chung được với hai cách kia); CLUSTER BY AUTO để predictive optimization tự chọn cột.
| Partition | Z-order | Liquid clustering | |
|---|---|---|---|
| Hợp với | cột ít giá trị, bảng rất lớn | lọc theo 1–4 cột | gần như mọi bảng mới |
| Đổi cột | viết lại bảng | viết lại bảng | ALTER TABLE, không viết lại |
| Dữ liệu mới | vào đúng thư mục | phải OPTIMIZE ZORDER lại, viết lại nhiều file | OPTIMIZE tăng dần |
| Rủi ro | nhiều thư mục, small files | tốn compute mỗi lần chạy | ít |
Trong bài
Ba bảng cùng 5372 đơn: silver.orders (không layout), fact_partitioned (partition theo customer_id, cố tình sai: 501 partition cho 5372 dòng) và fact_clustered (liquid clustering theo customer_id, product_id). Cùng truy vấn khách C0042 (10 đơn, 94.789.000) trên hai bảng, mở query profile, so files read / files pruned và thời gian.
Kết quả dự kiến: bảng partition có khoảng 501 file, đọc 1 và bỏ khoảng 500; bảng clustered chỉ có 1 file, đọc 1 và bỏ 0. Đừng kết luận partition "bỏ qua tốt hơn": nó bỏ được 500 file chỉ vì chính nó đẻ ra 500 file thừa. Với bảng nhỏ, một file là layout tốt nhất; data skipping trên bảng clustered chỉ thấy rõ khi bảng có nhiều file (thử nhân dữ liệu như bài 2.1).
flowchart LR S[silver.orders · 5372 đơn] --> P[PARTITIONED BY customer_id · 501 thư mục] S --> C[CLUSTER BY customer_id, product_id · 1 file, bảng nhỏ] P --> Q[WHERE customer_id = C0042] C --> Q
Lỗi hay gặp
- Partition theo cột nhiều giá trị (
customer_id,order_id, timestamp tới giây). - Partition bảng nhỏ "cho chắc". Dưới ~1 TB thường chậm hơn không partition.
- Đổi layout mà không đo. Ghi files read và thời gian trước / sau cho một truy vấn thật.
Dọn sau module: các bảng workspace.de.revenue_by_customer, skew_merge, skew_bcast, skew_salted, orders_small, fact_partitioned, fact_clustered chỉ để học; xoá từng bảng bằng DROP TABLE IF EXISTS. Đừng DROP SCHEMA workspace.de CASCADE: lệnh đó xoá cả volume /Volumes/workspace/de/raw (CSV nguồn của job Track 2) và job bronze sẽ hỏng.