DataOps Peach

Data Foundations · Nghề DE/DataOps và dữ liệu thô · Bài 3/4

Warehouse, lake và lakehouse

Schema-on-write và schema-on-read, vì sao lake thành "swamp", và lakehouse thêm gì lên lake.

Học tương tác →

Data warehouse: chặt chẽ, đáng tin

Data warehouse lưu dữ liệu trong bảng có schema định sẵn. Đây là schema-on-write: dữ liệu phải khớp schema thì mới được ghi. Đổi lại, SQL chạy nhanh, có transaction, số liệu đáng tin.

Data lake: rẻ nhưng dễ thành đầm lầy

Data lake (S3, ADLS, GCS, HDFS) là kho file giá rẻ: đổ gì vào cũng được, CSV, JSON, Parquet, ảnh. Đây là schema-on-read: schema chỉ được áp khi đọc, mỗi người đọc tự đoán.

Vấn đề là lake chỉ có file, không có transaction:

Thêm vào đó là thiếu quản trị: không có catalog, không ai đứng tên chịu trách nhiệm từng bộ dữ liệu, không ai kiểm chất lượng. Sau vài năm, lake thành data swamp: nhiều dữ liệu nhưng không ai tin.

Lakehouse = lake + sổ cái phiên bản

Lakehouse (Delta Lake, Apache Iceberg, Apache Hudi) giữ file rẻ của lake, thêm một lớp metadata giao dịch: một cuốn sổ ghi "phiên bản 12 của bảng gồm đúng những file này". Ghi xong thì thêm một dòng vào sổ; người đọc chỉ đọc các file mà sổ nói là hợp lệ.

flowchart LR
  W[Warehouse<br/>schema-on-write, định dạng riêng] --> LH
  L[Lake<br/>file rẻ, schema-on-read] --> LH[Lakehouse<br/>file rẻ + sổ cái phiên bản]
  LH --> A[ACID, time travel,<br/>schema enforcement]

Mọi tính năng "giống warehouse" đều suy ra từ cuốn sổ đó: ACID (ghi trọn vẹn hoặc không ghi), time travel (đọc lại phiên bản cũ), schema enforcement (từ chối file sai schema). Track 2 sẽ dùng Delta Lake trên Databricks; bài này chỉ minh hoạ phần "lake" và vì sao định dạng file quan trọng.

Lệnh hay dùng

Lệnh Việc
COPY raw_orders TO 'lake/orders.csv' ghi bảng ra file CSV
COPY raw_orders TO 'lake/orders.parquet' (FORMAT parquet) ghi ra Parquet: dạng cột, nén, có schema trong file
DESCRIBE 'lake/orders.csv' schema-on-read: DuckDB đoán kiểu từ nội dung
DESCRIBE 'lake/orders.parquet' schema đọc từ chính file
SELECT count(*) FROM 'lake/*.parquet' đọc cả thư mục file như một bảng

Lỗi hay gặp

Học tương tác →