Lakehouse Engineering
Lakehouse Engineering: track DataOps miễn phí gồm 4 module và 19 bài. Hiểu Spark nghĩ thế nào: driver, partition, lazy evaluation, shuffle. Dịch pipeline…
Module
- 01 Spark và PySpark
Hiểu Spark nghĩ thế nào: driver, partition, lazy evaluation, shuffle. Dịch pipeline từ SQL/pandas sang DataFrame API và biết vì sao một job chậm.
- 02 Delta Lake
Delta Lake là Parquet cộng một cuốn sổ cái. Hiểu _delta_log thì ACID, time travel, MERGE và schema evolution đều thành hiển nhiên.
- 03 Ingestion: lấy dữ liệu ra khỏi nguồn
Ngoài đời không ai đưa bạn file CSV. Kéo dữ liệu từ database, API và thư mục file sao cho thấy được cái mới, cái bị xoá, và chạy lại không trùng.
- 04 Orchestration và declarative pipeline
Biến một đống notebook thành hệ thống: job có phụ thuộc, tham số, retry, alert và quality gate; rồi so với pipeline khai báo (Lakeflow) có expectations.