Lô dữ liệu mới
raw_orders_incremental.csv có 550 dòng: 400 đơn mới của tháng 1/2026 và 150 đơn pending cũ nay đã có trạng thái mới (completed hoặc cancelled). Sau khi áp đúng quy tắc silver (ép kiểu, loại 2 đơn quantity âm, thêm revenue và cờ mồ côi), lô còn 548 dòng trong stg_orders. 148 trong số đó là đơn đã có trong silver_orders.
1. INSERT / append thay vì MERGE
-- sai: cộng thêm, không biết đơn nào đã có
INSERT INTO silver_orders SELECT * FROM stg_orders;
Kết quả trong bài (dùng UNION ALL để không làm hỏng silver thật):
- 5520 dòng nhưng chỉ 5372 đơn: 148 đơn có hai dòng.
ORD-000035vừapendingvừacompleted. Trạng thái nào là thật?- Báo cáo "đơn đang treo" đếm 472 đơn pending, trong khi thật chỉ còn 324. 148 đơn đã xong vẫn bị coi là đang treo.
Và đó mới là lần chạy đầu. Retry thêm một lần thì lô bị cộng lần nữa. Sửa: ghi bằng MERGE theo khoá (bài 4.4) hoặc ghi đè toàn bộ.
2. current_date trong logic nghiệp vụ
current_date - max(order_date) AS days_since_last_order -- sai
DATE '2026-01-01' - max(order_date) AS days_since_last_order -- đúng: tham số
Kết quả phụ thuộc vào ngày chạy chứ không chỉ vào dữ liệu. Sửa: truyền ngày làm tham số của lần chạy (reference_date, processing_date).
Ngoại lệ: _ingested_at ở bronze được phép dùng now(). Nó là metadata ghi nhận lúc nào dòng được nạp, không phải logic nghiệp vụ; không bảng gold nào tính số liệu từ nó. Hai lần nạp có hai thời điểm khác nhau là đúng sự thật.
3. Thứ tự không tất định
row_number() OVER (PARTITION BY customer_id ORDER BY signup_date DESC)
Hai bản của cùng một khách có cùng signup_date thì bản nào đứng đầu là không xác định (tuỳ thứ tự đọc, số luồng): hôm nay giữ bản A, mai giữ bản B. Module 02 đã sửa bằng tiêu chí phá hoà: ORDER BY signup_date DESC, full_name, email, sao cho bộ cột trong ORDER BY xác định duy nhất một dòng.
4. Ghi bằng chế độ append
Spark df.write.saveAsTable(...) mặc định báo lỗi khi bảng đã có, pandas to_sql(...) cũng vậy (if_exists="fail"). Để hết lỗi "bảng đã tồn tại", người ta hay thêm mode("append") hoặc if_exists="append", tức là nối thêm mỗi lần chạy. Một số cách ghi khác thì nối thêm ngay từ đầu: INSERT INTO, df.write.insertInto(...) của Spark. Lần chạy đầu luôn đúng, lỗi chỉ lộ ra ở lần thứ hai. Sửa: chọn tường minh overwrite (cho bảng tính lại toàn bộ) hoặc MERGE (cho bảng nạp dần).
flowchart LR S[silver_orders · 4972] --> U[UNION ALL / INSERT] L[stg_orders · 548] --> U U --> B[5520 dòng · 148 đơn lặp]
Cách đọc code để bắt lỗi
Với mỗi bước ghi, hỏi:
- Ghi kiểu gì? Thay toàn bộ, MERGE theo khoá, hay cộng thêm?
- Có gì phụ thuộc đồng hồ (
now(),current_date) trong logic không? - Có
ROW_NUMBER,LIMIT,first()nào mà ORDER BY không xác định duy nhất một dòng? - Bước ghi đang dùng chế độ nào: append, overwrite, hay báo lỗi khi bảng đã có?
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
SELECT count(*), count(DISTINCT <khoá>) FROM <bảng> |
phát hiện dòng lặp |
SELECT <khoá> FROM <bảng> GROUP BY 1 HAVING count(*) > 1 |
liệt kê khoá lặp |
Lỗi hay gặp
- "Lần đầu chạy đúng mà": lỗi idempotency luôn lộ ra ở lần chạy thứ hai.
- Cấm luôn
now()ở mọi nơi:_ingested_atcần nó; chỉ logic nghiệp vụ mới phải dùng tham số. - Sửa bằng
SELECT DISTINCTsau khi đã nối thêm: hai bản của ORD-000035 khácstatusnên DISTINCT vẫn giữ cả hai.