Dimension cũng thay đổi
Khách chuyển nhà, sản phẩm đổi danh mục, khách nâng gói dịch vụ. SCD (Slowly Changing Dimension) là cách xử lý những thay đổi chậm như vậy của dimension.
Câu hỏi then chốt: khách C0004 ở Đà Nẵng (miền trung) nửa đầu 2025, từ 01/07 chuyển vào TP.HCM (miền nam). Sáu đơn đặt khi còn ở Đà Nẵng tính cho vùng nào?
Type 1: ghi đè
-- chỉ minh hoạ, đừng chạy: bài 3.4 cần dim_customer nguyên vẹn; phần thực hành dùng dim_customer_scd2
UPDATE dim_customer SET city = 'TP.HCM', region = 'miền nam' WHERE customer_id = 'C0004';
Đơn giản, mỗi khách vẫn một dòng. Nhưng mọi đơn cũ giờ thuộc miền nam. Báo cáo doanh thu miền trung quý 2 đã gửi đầu tháng 7 (có 4 đơn completed của C0004), chạy lại hôm nay ra số nhỏ hơn. Không ai sửa đơn nào, chỉ có dimension đổi.
Triệu chứng điển hình: "Sao báo cáo tháng 3 chạy tháng này lại khác tháng trước?"
Type 1 hợp với thuộc tính mà lịch sử không quan trọng: sửa lỗi chính tả tên, chuẩn hoá số điện thoại.
Type 2: giữ nhiều phiên bản
Mỗi lần thuộc tính đổi, đóng phiên bản cũ và thêm phiên bản mới. Ba cột quản lý:
| Cột | Ý nghĩa |
|---|---|
valid_from |
Ngày phiên bản bắt đầu hiệu lực |
valid_to |
Ngày kết thúc; 9999-12-31 nghĩa là chưa kết thúc |
is_current |
Có phải phiên bản hiện hành không |
| customer_id | city | region | valid_from | valid_to | is_current |
|---|---|---|---|---|---|
| C0004 | Đà Nẵng | miền trung | 2025-01-01 | 2025-06-30 | false |
| C0004 | TP.HCM | miền nam | 2025-07-01 | 9999-12-31 | true |
Đơn được nối với phiên bản đang hiệu lực vào ngày đặt:
JOIN dim_customer_scd2 s
ON f.customer_id = s.customer_id
AND f.date_key BETWEEN s.valid_from AND s.valid_to
Kết quả của C0004: 6 đơn miền trung, 4 đơn miền nam. Join chỉ với is_current thì cả 10 đơn thành miền nam, đúng như Type 1.
Cách chuẩn (Kimball) là mỗi phiên bản có một surrogate key riêng (customer_sk) và fact lưu khoá đó lúc nạp đơn. Bài này join theo khoảng ngày lúc truy vấn cho dễ thấy cơ chế.
flowchart LR F[10 đơn của C0004] -->|date_key ≤ 30/06| V1[miền trung · 6 đơn] F -->|date_key ≥ 01/07| V2[miền nam · 4 đơn]
Type 2 tốn gì
- customer_id không còn duy nhất. Join chỉ theo customer_id sẽ nhân đôi đơn của khách có hai phiên bản. Phải thêm điều kiện ngày hoặc
is_current. - Bảng lớn dần theo số lần thay đổi.
- Pipeline phức tạp hơn: phát hiện thay đổi, đóng bản cũ, thêm bản mới cùng lúc. Track 2 làm việc này bằng
MERGEcủa Delta Lake.
Ví dụ: Type 1 làm lệch chiến lược
Một công ty SaaS dùng Type 1 cho cột plan. Nhiều khách nâng lên Enterprise trong tháng 3; báo cáo tháng 1 chạy lại sau đó cho thấy Enterprise chiếm 60% doanh thu, trong khi thật sự chưa tới một nửa. Đội sales kết luận sai về tăng trưởng, dù không dữ liệu nào sai: chỉ lịch sử bị viết lại.
Chọn Type cho từng thuộc tính
| Thuộc tính | Type | Lý do |
|---|---|---|
| Sửa lỗi chính tả tên khách | 1 | Tên sai không có giá trị lịch sử |
| Vùng của khách | 2 | Doanh thu theo vùng phải tính theo nơi khách ở lúc mua |
| Gói dịch vụ (plan) | 2 | Phân tích nâng/hạ gói cần biết gói tại từng thời điểm |
Lệnh hay dùng
-- đóng phiên bản cũ
UPDATE dim SET valid_to = <ngày trước thay đổi>, is_current = false WHERE <khoá> AND is_current;
-- thêm phiên bản mới
INSERT INTO dim SELECT <khoá>, <giá trị mới>, <ngày thay đổi>, DATE '9999-12-31', true ...;
-- join theo lịch sử
... ON f.<khoá> = s.<khoá> AND f.date_key BETWEEN s.valid_from AND s.valid_to
Lỗi hay gặp
- Join bảng Type 2 chỉ theo khoá. Đơn bị nhân dòng, doanh thu đội lên.
- Khoảng hiệu lực chồng nhau hoặc hở. Với
BETWEEN(gồm cả hai đầu) như bài,valid_tocũ là ngày ngay trướcvalid_frommới; chồng thì nhân đôi, hở thì đơn rơi mất. Quy ước nửa mở (valid_from <= ngày < valid_to) thì hai ngày đó bằng nhau. - Dùng Type 1 cho mọi thứ "cho đơn giản" rồi không giải thích được vì sao báo cáo cũ đổi số.