Lakehouse Engineering · Module 02
Delta Lake
Delta Lake là Parquet cộng một cuốn sổ cái. Hiểu _delta_log thì ACID, time travel, MERGE và schema evolution đều thành hiển nhiên.
Học xong bạn làm được
- Giải thích vì sao Parquet lưu theo cột nhanh và nhỏ hơn CSV
- Đọc entry add / remove của _delta_log (qua mẫu và DESCRIBE HISTORY)
- Dùng DESCRIBE HISTORY, time travel và RESTORE
- Dựng medallion trên Delta với chế độ ghi đúng cho từng tầng
Bài học
- Parquet và lưu theo cột
Vì sao Parquet nhỏ và nhanh hơn CSV, JSON - lưu theo cột, nén theo cột, có kiểu và có min/max - và vấn đề mà Parquet một mình không giải được.
- _delta_log: sổ cái của bảng
Delta Lake là Parquet cộng một cuốn sổ cái. Mỗi lần ghi là một commit liệt kê file nào được thêm, file nào bị bỏ; từ đó có ACID, đọc phiên bản cũ và ghi đồng thời an toàn.
- Time travel, RESTORE, VACUUM
Đọc bảng ở version cũ, cứu bảng sau khi ghi nhầm bằng RESTORE, và hiểu VACUUM xoá vĩnh viễn những gì - vì sao time travel không phải backup.
- MERGE và schema evolution
MERGE trên Delta giống MERGE của Track 1, thêm điều kiện cập nhật để không viết lại file vô ích. Schema enforcement chặn dữ liệu sai cột; mở rộng schema là tính năng ở bronze nhưng là lỗ hổng ở gold.
- Medallion trên Delta
Dựng lại pipeline của Track 1 trên Delta với chế độ ghi đúng cho từng tầng, và khớp con số với bản DuckDB. Lambda, Kappa, lakehouse - và vì sao một bảng cho cả batch lẫn stream.