DataOps Peach

Data Foundations · Nghề DE/DataOps và dữ liệu thô · Bài 1/4

Data engineer chịu trách nhiệm gì

Ba trách nhiệm đúng, đủ, mới; vì sao dữ liệu nguồn luôn bẩn; và DataOps là gì.

Học tương tác →

Một câu cho cả nghề

Data engineer (DE) chịu trách nhiệm để con số mà người khác dùng luôn đúng, đủ và mới. Dashboard, báo cáo tài chính hay model dự đoán đều đứng trên dữ liệu do DE đưa tới, nên khi con số sai thì quyết định cũng sai theo.

Trách nhiệm Câu hỏi thật Ví dụ chuyện xấu
Đúng Con số có phản ánh sự thật không? App ghi giá dạng "2,064,000 VND", cộng thẳng thì DuckDB báo lỗi kiểu, hàm SUM của Excel thì ra 0
Đủ Có thiếu hay thừa dòng nào không? Lô đơn của chi nhánh đến trễ 6 tiếng, báo cáo sáng thiếu cả một vùng
Mới Dữ liệu cập nhật tới lúc nào? Pipeline chết lúc 3 giờ sáng, 9 giờ sếp vẫn xem số hôm kia mà không biết

Vì sao dữ liệu nguồn luôn bẩn

Bảng orders của app bán hàng tồn tại để ghi đơn cho nhanh và đúng giao dịch, không phải để tính doanh thu. App cho nhân viên gõ tay, cho đối tác gửi file, đổi định dạng ngày qua mỗi phiên bản, gán mã khách mặc định khi thiếu thông tin. Không ai cẩu thả cả: hệ thống nguồn tối ưu cho việc khác. Khoảng cách giữa "dữ liệu phục vụ giao dịch" và "dữ liệu phục vụ phân tích" chính là công việc của DE.

flowchart LR
  A[App bán hàng] -->|CSV, API| B[Dữ liệu thô]
  B -->|làm sạch, mô hình hoá| C[Bảng phân tích]
  C --> D[Dashboard / báo cáo / model]

Bug dữ liệu thì im lặng

Bug phần mềm thường ồn ào: trang lỗi 500, người dùng báo ngay. Bug dữ liệu thì im lặng: query vẫn chạy, dashboard vẫn có số, chỉ là số sai. Doanh thu bị đếm đôi 80 đơn vẫn "trông hợp lý", và có thể vài tháng sau mới có người phát hiện.

DataOps là cách vận hành pipeline dữ liệu như một sản phẩm, mượn tinh thần của DevOps nhưng thêm phần dữ liệu:

DevOps lo cho code chạy đúng; DataOps lo thêm cho dữ liệu đi qua code đó vẫn đúng.

Lệnh hay dùng

Track này chạy hoàn toàn trên máy của bạn với DuckDB, một database phân tích nằm gọn trong một file. Tạo thư mục làm việc trước rồi chạy mọi lệnh trong đó: mkdir -p ~/de_lab && cd ~/de_lab. Trên Windows, nếu python3 không chạy thì dùng python. Học xong cả track có thể xoá thư mục này (rm -rf ~/de_lab).

Lệnh Việc
duckdb -c "SELECT version()" kiểm tra DuckDB CLI đã cài và xem phiên bản
python3 gen_data.py sinh 4 file CSV thực hành (cùng seed thì cùng dữ liệu)
wc -l *.csv đếm dòng từng file (kể cả dòng header)
head -3 raw_orders.csv xem vài dòng đầu trước khi làm gì khác

Lỗi hay gặp

Học tương tác →