Hai thứ tự, ba chữ cái
- ETL (Extract → Transform → Load): lấy dữ liệu từ nguồn, biến đổi trên một máy chủ trung gian, chỉ nạp kết quả đã làm sạch vào kho. Phổ biến khoảng 1990–2015.
- ELT (Extract → Load → Transform): nạp nguyên dữ liệu thô vào kho trước, biến đổi bằng SQL ngay trong kho, khi cần.
flowchart LR
subgraph ETL
A1[Nguồn] --> B1[Transform ngoài kho] --> C1[Kho: chỉ có kết quả]
end
subgraph ELT
A2[Nguồn] --> C2[Kho: dữ liệu thô] --> D2[Transform bằng SQL]
end
Kinh tế học hạ tầng
ETL ra đời khi lưu trữ và compute của kho dữ liệu đắt và cố định: mua máy theo năm, mỗi GB đều tính tiền, nên chỉ giữ những gì chắc chắn cần. Ngày nay object storage rẻ và compute co giãn theo phút, nên giữ thêm dữ liệu thô gần như không tốn gì.
Nhưng tiền chỉ là lý do bề mặt. Lý do sâu hơn: ETL vứt thông tin không phục hồi được. Mỗi quyết định Transform trước khi Load (bỏ cột, gộp theo ngày, lọc dòng "rác") là một câu trả lời cố định cho câu hỏi của hôm nay. Câu hỏi của tuần sau có thể cần đúng phần đã bị vứt.
Dữ liệu thô là tài sản. Logic biến đổi là code: sửa được, chạy lại được.
Với ELT, logic sai thì sửa SQL rồi chạy lại trên dữ liệu thô còn nguyên. Với ETL, logic sai nghĩa là dữ liệu đã mất.
Ví dụ: 5 năm dữ liệu mất trắng
Một chuỗi bán lẻ chỉ nạp doanh thu đã gộp theo ngày × cửa hàng để kho nhẹ. Năm năm sau, marketing hỏi doanh thu theo khung giờ để xếp ca nhân viên. Không ai trả lời được: dữ liệu từng giao dịch đã bị gộp trước khi vào kho. Một quyết định thiết kế xoá mất năm năm lịch sử.
ETL vẫn hợp lý trong vài trường hợp: phải che hoặc bỏ dữ liệu nhạy cảm (số thẻ, CCCD) trước khi nó rời hệ thống nguồn, hoặc kho đích thật sự không đủ chỗ.
Lệnh hay dùng
Trong DuckDB, bước "Load" có thể đơn giản là một view đọc thẳng file CSV, mọi cột là chuỗi:
| Lệnh | Việc |
|---|---|
CREATE OR REPLACE VIEW raw_orders AS SELECT * FROM read_csv_auto('raw_orders.csv', all_varchar=true) |
nạp thô: không đoán kiểu, không ép giá trị |
SELECT count(*) FROM raw_orders |
số dòng phải khớp file (trừ header) |
DESCRIBE raw_orders |
xem cột và kiểu |
SHOW TABLES |
liệt kê bảng và view trong database |
all_varchar=true giữ nguyên mọi giá trị ở dạng chuỗi (riêng ô rỗng trong CSV được đọc thành NULL). Để DuckDB tự đoán kiểu là đã Transform một phần: một giá trị không khớp kiểu đoán được sẽ làm lệnh lỗi hoặc bị đọc sai.
View không chép dữ liệu: mỗi lần query, DuckDB đọc lại file CSV theo đường dẫn (tương đối với thư mục bạn đang đứng). Đủ cho bài này; ở module Bronze ta sẽ CREATE TABLE ... AS để dữ liệu thô thật sự nằm trong kho, không phụ thuộc file còn hay mất.
Lỗi hay gặp
- "Bỏ cột
user_agentcho nhẹ." Hôm nay không ai cần, nhưng đó là cột duy nhất phân biệt đơn từ app với đơn từ bot. - Lọc dòng bẩn khi nạp. Dòng bẩn là bằng chứng: không còn nó thì không đếm được nguồn bẩn đến mức nào.
- Nghĩ ELT là "không cần Transform". Transform vẫn có, chỉ là làm sau, bằng code có version, trên dữ liệu còn nguyên.