Data Foundations · Module 01
Nghề DE/DataOps và dữ liệu thô
Data engineer chịu trách nhiệm để con số đúng, đủ và mới. Vì sao ELT thay ETL, ba kiến trúc lưu trữ, và tập nhìn dữ liệu thô như nó thật sự là.
Học xong bạn làm được
- Giải thích ba trách nhiệm đúng, đủ, mới của data engineer
- So sánh ETL với ELT và nêu vì sao ELT giữ được quyền đổi ý
- Phân biệt data warehouse, data lake và lakehouse
- Tìm và ghi lại ít nhất 5 loại lỗi trong một file CSV thô
Bài học
- Data engineer chịu trách nhiệm gì
Ba trách nhiệm đúng, đủ, mới; vì sao dữ liệu nguồn luôn bẩn; và DataOps là gì.
- ETL vs ELT
Vì sao ngày nay nạp dữ liệu thô trước rồi mới biến đổi, và vì sao điều đó giữ được quyền đổi ý.
- Warehouse, lake và lakehouse
Schema-on-write và schema-on-read, vì sao lake thành "swamp", và lakehouse thêm gì lên lake.
- Săn lỗi trong dữ liệu thô
Tự đặt câu hỏi cho từng cột, đo trực tiếp thay vì đo bằng proxy, và viết biên bản lỗi có hậu quả nghiệp vụ.