Delta = Parquet + _delta_log
Một bảng Delta là một thư mục gồm:
- các file Parquet chứa dữ liệu (định dạng bài trước);
- thư mục
_delta_log/chứa các file JSON đánh số00000000000000000000.json,...001.json... mỗi file là một commit, tức một version của bảng.
Mỗi commit ghi các action:
{"commitInfo": {"operation": "WRITE", "operationParameters": {"mode": "Append"}, ...}}
{"add": {"path": "part-00000-....parquet", "size": 12345,
"stats": "{\"numRecords\":438,\"minValues\":{...},\"maxValues\":{...}}", ...}}
{"remove": {"path": "part-....parquet", ...}}
Mẫu trên gộp các loại action cho gọn: remove chỉ có ở commit UPDATE / DELETE / OVERWRITE, không có ở commit append.
add: file này thuộc bảng từ version này, kèm số dòng và min/max từng cột.remove: file này không còn thuộc bảng từ version này (file vật lý vẫn còn, để đọc version cũ).
Bảng ở version N = cộng dồn mọi add trừ mọi remove từ version 0 tới N. Không có gì bị ghi đè tại chỗ.
ACID từ sổ cái
- Atomic: job ghi file Parquet trước, commit vào log sau cùng. Chết giữa chừng thì không có commit; file đã ghi là rác không ai thấy, người đọc vẫn thấy version cũ đầy đủ.
- Consistent / Isolated: người đọc luôn đọc một version trọn vẹn. Hai job ghi cùng lúc tranh nhau tạo file commit số tiếp theo; một bên thắng, bên kia kiểm tra xung đột rồi thử lại hoặc báo lỗi.
- Durable: commit đã ghi là bền.
Thêm schema enforcement: ghi một DataFrame sai kiểu hay thừa cột vào bảng Delta sẽ bị từ chối (bài 2.4 bàn về mở rộng schema có chủ đích).
Trong bài
| Bước | Version | Thao tác | Số dòng |
|---|---|---|---|
CREATE OR REPLACE TABLE ... AS SELECT |
0 | tạo bảng | 5100 |
INSERT INTO ... WHERE pending |
1 | WRITE, Append | +438 |
DESCRIBE HISTORY đọc lại sổ cái thành bảng; VERSION AS OF 0 vẫn ra 5100 dòng trong khi bảng hiện tại có 5538.
Bảng managed trong Unity Catalog nằm ở chỗ lưu do Databricks quản lý; bạn xem log qua DESCRIBE HISTORY thay vì mở thư mục. Với bảng Delta tự quản lý (Delta mã nguồn mở trên máy, hay bảng external), bạn mở được _delta_log/ và đọc thẳng các file JSON.
flowchart LR P0[file Parquet lần 1] --> C0[000…000.json · add] P1[file Parquet lần 2] --> C1[000…001.json · add] C0 --> V0[version 0 · 5100] C1 --> V1[version 1 · 5538]
Không phải định dạng file mới
Delta không thay Parquet; nó là một giao thức bảng trên file Parquet. Apache Iceberg và Apache Hudi giải cùng bài toán theo cách riêng (Iceberg dùng file metadata và manifest). Cả ba đều mở; UniForm của Delta sinh thêm metadata Iceberg để client Iceberg đọc được bảng Delta.
Ví dụ: 60% phân vùng
Tình huống giả định: job ghi lại dữ liệu doanh thu theo 100 phân vùng ngày trên một lake Parquet thuần, bị kill sau khi ghi được 60. Báo cáo sáng hôm sau thiếu 40% doanh thu; mất 2 ngày để dò file nào mới, file nào cũ. Với Delta, job chưa commit thì không ai thấy 60 phân vùng dở: bảng vẫn là version trước, chạy lại job là xong.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
DESCRIBE DETAIL <bảng> |
định dạng, vị trí, số file, kích thước |
DESCRIBE HISTORY <bảng> |
các version: thao tác, thời gian, số liệu |
SELECT ... FROM <bảng> VERSION AS OF <n> |
đọc bảng ở version n |
Lỗi hay gặp
- Xoá hay sửa tay file trong thư mục bảng Delta: log không biết, bảng hỏng.
- Tưởng Delta là định dạng file thay Parquet.
- Coi file
removelà đã bị xoá khỏi đĩa: chúng còn đó cho tới khi VACUUM (bài sau).