DataOps Peach

Lakehouse Engineering · Delta Lake · Bài 2/5

_delta_log: sổ cái của bảng

Delta Lake là Parquet cộng một cuốn sổ cái. Mỗi lần ghi là một commit liệt kê file nào được thêm, file nào bị bỏ; từ đó có ACID, đọc phiên bản cũ và ghi đồng thời an toàn.

Học tương tác →

Delta = Parquet + _delta_log

Một bảng Delta là một thư mục gồm:

Mỗi commit ghi các action:

{"commitInfo": {"operation": "WRITE", "operationParameters": {"mode": "Append"}, ...}}
{"add": {"path": "part-00000-....parquet", "size": 12345,
         "stats": "{\"numRecords\":438,\"minValues\":{...},\"maxValues\":{...}}", ...}}
{"remove": {"path": "part-....parquet", ...}}

Mẫu trên gộp các loại action cho gọn: remove chỉ có ở commit UPDATE / DELETE / OVERWRITE, không có ở commit append.

Bảng ở version N = cộng dồn mọi add trừ mọi remove từ version 0 tới N. Không có gì bị ghi đè tại chỗ.

ACID từ sổ cái

Thêm schema enforcement: ghi một DataFrame sai kiểu hay thừa cột vào bảng Delta sẽ bị từ chối (bài 2.4 bàn về mở rộng schema có chủ đích).

Trong bài

Bước Version Thao tác Số dòng
CREATE OR REPLACE TABLE ... AS SELECT 0 tạo bảng 5100
INSERT INTO ... WHERE pending 1 WRITE, Append +438

DESCRIBE HISTORY đọc lại sổ cái thành bảng; VERSION AS OF 0 vẫn ra 5100 dòng trong khi bảng hiện tại có 5538.

Bảng managed trong Unity Catalog nằm ở chỗ lưu do Databricks quản lý; bạn xem log qua DESCRIBE HISTORY thay vì mở thư mục. Với bảng Delta tự quản lý (Delta mã nguồn mở trên máy, hay bảng external), bạn mở được _delta_log/ và đọc thẳng các file JSON.

flowchart LR
  P0[file Parquet lần 1] --> C0[000…000.json · add]
  P1[file Parquet lần 2] --> C1[000…001.json · add]
  C0 --> V0[version 0 · 5100]
  C1 --> V1[version 1 · 5538]

Không phải định dạng file mới

Delta không thay Parquet; nó là một giao thức bảng trên file Parquet. Apache Iceberg và Apache Hudi giải cùng bài toán theo cách riêng (Iceberg dùng file metadata và manifest). Cả ba đều mở; UniForm của Delta sinh thêm metadata Iceberg để client Iceberg đọc được bảng Delta.

Ví dụ: 60% phân vùng

Tình huống giả định: job ghi lại dữ liệu doanh thu theo 100 phân vùng ngày trên một lake Parquet thuần, bị kill sau khi ghi được 60. Báo cáo sáng hôm sau thiếu 40% doanh thu; mất 2 ngày để dò file nào mới, file nào cũ. Với Delta, job chưa commit thì không ai thấy 60 phân vùng dở: bảng vẫn là version trước, chạy lại job là xong.

Lệnh hay dùng

Lệnh Để làm gì
DESCRIBE DETAIL <bảng> định dạng, vị trí, số file, kích thước
DESCRIBE HISTORY <bảng> các version: thao tác, thời gian, số liệu
SELECT ... FROM <bảng> VERSION AS OF <n> đọc bảng ở version n

Lỗi hay gặp

Học tương tác →