DataOps Peach

Data Foundations · Nghề DE/DataOps và dữ liệu thô · Bài 2/4

ETL vs ELT

Vì sao ngày nay nạp dữ liệu thô trước rồi mới biến đổi, và vì sao điều đó giữ được quyền đổi ý.

Học tương tác →

Hai thứ tự, ba chữ cái

flowchart LR
  subgraph ETL
    A1[Nguồn] --> B1[Transform ngoài kho] --> C1[Kho: chỉ có kết quả]
  end
  subgraph ELT
    A2[Nguồn] --> C2[Kho: dữ liệu thô] --> D2[Transform bằng SQL]
  end

Kinh tế học hạ tầng

ETL ra đời khi lưu trữ và compute của kho dữ liệu đắt và cố định: mua máy theo năm, mỗi GB đều tính tiền, nên chỉ giữ những gì chắc chắn cần. Ngày nay object storage rẻ và compute co giãn theo phút, nên giữ thêm dữ liệu thô gần như không tốn gì.

Nhưng tiền chỉ là lý do bề mặt. Lý do sâu hơn: ETL vứt thông tin không phục hồi được. Mỗi quyết định Transform trước khi Load (bỏ cột, gộp theo ngày, lọc dòng "rác") là một câu trả lời cố định cho câu hỏi của hôm nay. Câu hỏi của tuần sau có thể cần đúng phần đã bị vứt.

Dữ liệu thô là tài sản. Logic biến đổi là code: sửa được, chạy lại được.

Với ELT, logic sai thì sửa SQL rồi chạy lại trên dữ liệu thô còn nguyên. Với ETL, logic sai nghĩa là dữ liệu đã mất.

Ví dụ: 5 năm dữ liệu mất trắng

Một chuỗi bán lẻ chỉ nạp doanh thu đã gộp theo ngày × cửa hàng để kho nhẹ. Năm năm sau, marketing hỏi doanh thu theo khung giờ để xếp ca nhân viên. Không ai trả lời được: dữ liệu từng giao dịch đã bị gộp trước khi vào kho. Một quyết định thiết kế xoá mất năm năm lịch sử.

ETL vẫn hợp lý trong vài trường hợp: phải che hoặc bỏ dữ liệu nhạy cảm (số thẻ, CCCD) trước khi nó rời hệ thống nguồn, hoặc kho đích thật sự không đủ chỗ.

Lệnh hay dùng

Trong DuckDB, bước "Load" có thể đơn giản là một view đọc thẳng file CSV, mọi cột là chuỗi:

Lệnh Việc
CREATE OR REPLACE VIEW raw_orders AS SELECT * FROM read_csv_auto('raw_orders.csv', all_varchar=true) nạp thô: không đoán kiểu, không ép giá trị
SELECT count(*) FROM raw_orders số dòng phải khớp file (trừ header)
DESCRIBE raw_orders xem cột và kiểu
SHOW TABLES liệt kê bảng và view trong database

all_varchar=true giữ nguyên mọi giá trị ở dạng chuỗi (riêng ô rỗng trong CSV được đọc thành NULL). Để DuckDB tự đoán kiểu là đã Transform một phần: một giá trị không khớp kiểu đoán được sẽ làm lệnh lỗi hoặc bị đọc sai.

View không chép dữ liệu: mỗi lần query, DuckDB đọc lại file CSV theo đường dẫn (tương đối với thư mục bạn đang đứng). Đủ cho bài này; ở module Bronze ta sẽ CREATE TABLE ... AS để dữ liệu thô thật sự nằm trong kho, không phụ thuộc file còn hay mất.

Lỗi hay gặp

Học tương tác →