Một câu cho cả nghề
Data engineer (DE) chịu trách nhiệm để con số mà người khác dùng luôn đúng, đủ và mới. Dashboard, báo cáo tài chính hay model dự đoán đều đứng trên dữ liệu do DE đưa tới, nên khi con số sai thì quyết định cũng sai theo.
| Trách nhiệm | Câu hỏi thật | Ví dụ chuyện xấu |
|---|---|---|
| Đúng | Con số có phản ánh sự thật không? | App ghi giá dạng "2,064,000 VND", cộng thẳng thì DuckDB báo lỗi kiểu, hàm SUM của Excel thì ra 0 |
| Đủ | Có thiếu hay thừa dòng nào không? | Lô đơn của chi nhánh đến trễ 6 tiếng, báo cáo sáng thiếu cả một vùng |
| Mới | Dữ liệu cập nhật tới lúc nào? | Pipeline chết lúc 3 giờ sáng, 9 giờ sếp vẫn xem số hôm kia mà không biết |
Vì sao dữ liệu nguồn luôn bẩn
Bảng orders của app bán hàng tồn tại để ghi đơn cho nhanh và đúng giao dịch, không phải để tính doanh thu. App cho nhân viên gõ tay, cho đối tác gửi file, đổi định dạng ngày qua mỗi phiên bản, gán mã khách mặc định khi thiếu thông tin. Không ai cẩu thả cả: hệ thống nguồn tối ưu cho việc khác. Khoảng cách giữa "dữ liệu phục vụ giao dịch" và "dữ liệu phục vụ phân tích" chính là công việc của DE.
flowchart LR A[App bán hàng] -->|CSV, API| B[Dữ liệu thô] B -->|làm sạch, mô hình hoá| C[Bảng phân tích] C --> D[Dashboard / báo cáo / model]
Bug dữ liệu thì im lặng
Bug phần mềm thường ồn ào: trang lỗi 500, người dùng báo ngay. Bug dữ liệu thì im lặng: query vẫn chạy, dashboard vẫn có số, chỉ là số sai. Doanh thu bị đếm đôi 80 đơn vẫn "trông hợp lý", và có thể vài tháng sau mới có người phát hiện.
DataOps là cách vận hành pipeline dữ liệu như một sản phẩm, mượn tinh thần của DevOps nhưng thêm phần dữ liệu:
- chạy lại bao nhiêu lần cũng ra cùng kết quả (idempotent);
- có check chất lượng chặn dữ liệu xấu trước khi tới người dùng;
- có giám sát độ mới và cảnh báo khi pipeline chết;
- mọi logic nằm trong git, có review, có CI.
DevOps lo cho code chạy đúng; DataOps lo thêm cho dữ liệu đi qua code đó vẫn đúng.
Lệnh hay dùng
Track này chạy hoàn toàn trên máy của bạn với DuckDB, một database phân tích nằm gọn trong một file. Tạo thư mục làm việc trước rồi chạy mọi lệnh trong đó: mkdir -p ~/de_lab && cd ~/de_lab. Trên Windows, nếu python3 không chạy thì dùng python. Học xong cả track có thể xoá thư mục này (rm -rf ~/de_lab).
| Lệnh | Việc |
|---|---|
duckdb -c "SELECT version()" |
kiểm tra DuckDB CLI đã cài và xem phiên bản |
python3 gen_data.py |
sinh 4 file CSV thực hành (cùng seed thì cùng dữ liệu) |
wc -l *.csv |
đếm dòng từng file (kể cả dòng header) |
head -3 raw_orders.csv |
xem vài dòng đầu trước khi làm gì khác |
Lỗi hay gặp
- Tin số dòng là đủ.
wc -lcho 5101 dòng không có nghĩa có 5100 đơn: dòng trùng và dòng hỏng vẫn được đếm. - Đổ lỗi cho nguồn rồi dừng. Nguồn bẩn là điều kiện làm việc bình thường; nhiệm vụ là phát hiện, ghi lại và xử lý có giải thích.
- Không ghi lại seed. Sinh dữ liệu với seed khác thì mọi con số trong bài sẽ lệch.