Data warehouse: chặt chẽ, đáng tin
Data warehouse lưu dữ liệu trong bảng có schema định sẵn. Đây là schema-on-write: dữ liệu phải khớp schema thì mới được ghi. Đổi lại, SQL chạy nhanh, có transaction, số liệu đáng tin.
- Warehouse truyền thống (Teradata, Oracle on-prem): lưu trữ và compute gắn chặt, đắt, mua theo năm; khó chứa JSON, log, ảnh; thêm nguồn mới phải thiết kế schema trước.
- Cloud warehouse (Snowflake, BigQuery, Redshift): tách storage khỏi compute, lưu trữ rẻ, có kiểu cho JSON (VARIANT, JSON, SUPER). Nhược điểm còn lại: mặc định dữ liệu nằm trong định dạng riêng của nhà cung cấp, công cụ khác khó đọc thẳng; compute tính tiền theo mức dùng; vẫn yếu với dữ liệu phi cấu trúc (ảnh, PDF).
Data lake: rẻ nhưng dễ thành đầm lầy
Data lake (S3, ADLS, GCS, HDFS) là kho file giá rẻ: đổ gì vào cũng được, CSV, JSON, Parquet, ảnh. Đây là schema-on-read: schema chỉ được áp khi đọc, mỗi người đọc tự đoán.
Vấn đề là lake chỉ có file, không có transaction:
- hai job ghi cùng lúc vào một thư mục → file của hai job lẫn vào nhau, không biết tập nào là bản đúng;
- job chết giữa chừng → người đọc thấy nửa dữ liệu cũ, nửa mới;
- không ai biết thư mục
orders_final_v2/còn dùng không.
Thêm vào đó là thiếu quản trị: không có catalog, không ai đứng tên chịu trách nhiệm từng bộ dữ liệu, không ai kiểm chất lượng. Sau vài năm, lake thành data swamp: nhiều dữ liệu nhưng không ai tin.
Lakehouse = lake + sổ cái phiên bản
Lakehouse (Delta Lake, Apache Iceberg, Apache Hudi) giữ file rẻ của lake, thêm một lớp metadata giao dịch: một cuốn sổ ghi "phiên bản 12 của bảng gồm đúng những file này". Ghi xong thì thêm một dòng vào sổ; người đọc chỉ đọc các file mà sổ nói là hợp lệ.
flowchart LR W[Warehouse<br/>schema-on-write, định dạng riêng] --> LH L[Lake<br/>file rẻ, schema-on-read] --> LH[Lakehouse<br/>file rẻ + sổ cái phiên bản] LH --> A[ACID, time travel,<br/>schema enforcement]
Mọi tính năng "giống warehouse" đều suy ra từ cuốn sổ đó: ACID (ghi trọn vẹn hoặc không ghi), time travel (đọc lại phiên bản cũ), schema enforcement (từ chối file sai schema). Track 2 sẽ dùng Delta Lake trên Databricks; bài này chỉ minh hoạ phần "lake" và vì sao định dạng file quan trọng.
Lệnh hay dùng
| Lệnh | Việc |
|---|---|
COPY raw_orders TO 'lake/orders.csv' |
ghi bảng ra file CSV |
COPY raw_orders TO 'lake/orders.parquet' (FORMAT parquet) |
ghi ra Parquet: dạng cột, nén, có schema trong file |
DESCRIBE 'lake/orders.csv' |
schema-on-read: DuckDB đoán kiểu từ nội dung |
DESCRIBE 'lake/orders.parquet' |
schema đọc từ chính file |
SELECT count(*) FROM 'lake/*.parquet' |
đọc cả thư mục file như một bảng |
Lỗi hay gặp
- Nghĩ lakehouse là một sản phẩm riêng. Nó là kiến trúc: file trên object storage + một định dạng bảng có sổ giao dịch.
- Ghi CSV vào lake rồi gọi là xong. CSV không có kiểu, mỗi lần đọc phải đoán lại; Parquet giữ schema và nhẹ hơn nhiều.
- Hai job cùng ghi vào một thư mục lake không có sổ cái. Không có gì ngăn chúng giẫm lên nhau.