DataOps Peach

Lakehouse Engineering · Module 01

Spark và PySpark

Hiểu Spark nghĩ thế nào: driver, partition, lazy evaluation, shuffle. Dịch pipeline từ SQL/pandas sang DataFrame API và biết vì sao một job chậm.

Học tương tác →

Học xong bạn làm được

Bài học

  1. Làm quen Databricks Free Edition

    Đăng nhập CLI, tìm bốn khu vực ổn định của workspace, và đưa dữ liệu của Track 1 vào một volume của Unity Catalog.

  2. Spark hoạt động thế nào

    Driver, executor, partition, transformation và action. Spark nhanh vì thấy toàn bộ kế hoạch trước khi chạy, và chậm khi bạn bắt nó chạy từng bước.

  3. Shuffle và đọc kế hoạch thực thi

    Narrow và wide transformation, shuffle là gì và vì sao nó đắt, và cách đọc EXPLAIN để thấy Spark đẩy filter xuống, chỉ đọc cột cần, và chỗ nào dữ liệu phải di chuyển.

  4. DataFrame API thay pandas

    Dịch pipeline làm sạch của Track 1 sang PySpark DataFrame API. Mô tả ý định bằng hàm có sẵn để Catalyst tối ưu được, và tránh UDF Python.

  5. Join, broadcast, skew, window

    Hai cách Spark join hai bảng và khi nào nên broadcast; left_anti để tìm dòng mồ côi; skew làm một task chạy mãi; và Window cần partitionBy cùng tiêu chí phá hoà.

  6. Spark SQL hay DataFrame

    SQL và DataFrame API đi qua cùng bộ tối ưu Catalyst nên cho cùng kế hoạch. Chọn theo ai đọc, code sống bao lâu và có cần test, không theo tốc độ.