DataOps Peach

Lakehouse Engineering · Delta Lake · Bài 3/5

Time travel, RESTORE, VACUUM

Đọc bảng ở version cũ, cứu bảng sau khi ghi nhầm bằng RESTORE, và hiểu VACUUM xoá vĩnh viễn những gì - vì sao time travel không phải backup.

Học tương tác →

Đọc quá khứ

Vì _delta_log nhớ version nào gồm file nào (bài trước), bạn đọc được bảng như nó đã từng là:

SELECT * FROM workspace.de.demo_orders VERSION AS OF 3;
SELECT * FROM workspace.de.demo_orders TIMESTAMP AS OF '2026-11-15 09:00:00';

Ba ứng dụng:

RESTORE

RESTORE TABLE workspace.de.demo_orders TO VERSION AS OF 3;

RESTORE ghi một commit mới trỏ lại đúng tập file của version 3. Nó không xoá lịch sử: version 4 (bản ghi nhầm) vẫn nằm trong log để điều tra ai làm, lúc nào. Khác với chỉ đọc VERSION AS OF 3, RESTORE đổi trạng thái hiện tại của bảng cho mọi người.

Trong bài: version 2 chuẩn hoá status (5538 dòng), version 3 xoá 984 đơn huỷ (4554 dòng), version 4 ghi đè nhầm còn 10 dòng. DESCRIBE HISTORY chỉ ra version 3 là trạng thái đúng cuối cùng; RESTORE đưa bảng về 4554 dòng. Số version phụ thuộc lịch sử thật của bảng (chạy lại bài trước, OPTIMIZE tự động...), nên luôn đọc history để tìm version, đừng nhớ số.

flowchart LR
  V2[v2 · UPDATE · 5538] --> V3[v3 · DELETE · 4554]
  V3 --> V4[v4 · OVERWRITE nhầm · 10]
  V4 --> V5[v5 · RESTORE = v3 · 4554]

VACUUM

File bị remove khỏi bảng không bị xoá khỏi đĩa ngay; chúng ở lại để time travel đọc được. VACUUM xoá vĩnh viễn các file không còn thuộc version hiện tại và cũ hơn ngưỡng giữ lại (mặc định 7 ngày):

VACUUM workspace.de.demo_orders;                  -- giữ 7 ngày
VACUUM workspace.de.demo_orders RETAIN 0 HOURS;   -- nguy hiểm: bị chặn mặc định

Sau VACUUM, các version cần tới file đã xoá không đọc lại được nữa. RETAIN 0 HOURS bị Delta chặn bởi một kiểm tra an toàn; tắt kiểm tra đó là tự xoá đường lui của mình (và có thể làm hỏng job đang đọc version cũ). Trên Unity Catalog, bảng managed có thể được bảo trì tự động (predictive optimization), nên không tự chạy VACUUM với ngưỡng tuỳ tiện.

Time travel không phải backup

Backup thật là bản sao ở nơi khác, có kế hoạch giữ và đã thử khôi phục.

Ví dụ: 40 giây và không bao giờ

Tình huống giả định: một analyst chạy INSERT OVERWRITE nhầm vào bảng gold 3 năm doanh thu. Đội dữ liệu đọc DESCRIBE HISTORY, RESTORE về version trước: 40 giây. Ở một công ty khác, ai đó tắt kiểm tra an toàn và chạy VACUUM ... RETAIN 0 HOURS để "tiết kiệm dung lượng" ngay trước sự cố tương tự. Không còn version nào để quay về.

Lệnh hay dùng

Lệnh Để làm gì
SELECT ... VERSION AS OF n / TIMESTAMP AS OF '...' đọc bảng trong quá khứ
DESCRIBE HISTORY <bảng> tìm version cần quay về
RESTORE TABLE <bảng> TO VERSION AS OF n đưa bảng hiện tại về version n
VACUUM <bảng> xoá file cũ quá ngưỡng giữ lại (mặc định 7 ngày)

Lỗi hay gặp

Học tương tác →