DataOps Peach

Lakehouse Engineering · Spark và PySpark · Bài 1/6

Làm quen Databricks Free Edition

Đăng nhập CLI, tìm bốn khu vực ổn định của workspace, và đưa dữ liệu của Track 1 vào một volume của Unity Catalog.

Học tương tác →

Từ DuckDB trên máy sang Databricks

Track 1 chạy mọi thứ trên laptop với DuckDB. Track 2 chuyển sang Databricks: cùng ý tưởng (medallion, MERGE, idempotency) nhưng trên Spark, chạy phân tán, với bảng Delta và quyền quản lý bởi Unity Catalog. Bạn dùng Databricks Free Edition: miễn phí, compute serverless (không phải tự dựng cluster), có Unity Catalog, có quota sử dụng mỗi ngày. Bản Community Edition cũ đã ngừng; tài liệu, video hay giáo trình nào hướng dẫn Community Edition là đã lỗi thời.

Bốn mốc ổn định

Giao diện Databricks đổi thường xuyên: nút đổi chỗ, menu đổi tên. Bốn khu vực thì ổn định:

Khu vực Để làm gì
Workspace Thư mục chứa notebook, file, thư mục cá nhân và dùng chung
Catalog Unity Catalog: catalog → schema → bảng, view, volume; xem dữ liệu và quyền
Compute Tài nguyên chạy: serverless cho notebook, SQL warehouse cho SQL
Jobs & Pipelines Chạy notebook/pipeline theo lịch, xem lịch sử chạy

Khi một ảnh chụp trong tài liệu không khớp màn hình của bạn: tin docs chính thức (docs.databricks.com), dùng ô Search của workspace, hoặc hỏi Databricks Assistant. Ảnh chụp lỗi thời nhanh hơn khái niệm.

Tên ba tầng và volume

Mọi đối tượng trong Unity Catalog có tên ba tầng: catalog.schema.object. Free Edition có sẵn catalog workspace; bài tạo schema de bên trong.

Volume là chỗ chứa file (CSV, JSON, ảnh), khác với bảng. Đường dẫn: /Volumes/<catalog>/<schema>/<volume>/<file>. Volume thay cho cách cũ là đặt file ở DBFS root (dbfs:/FileStore/...), vốn không có kiểm soát quyền theo Unity Catalog.

flowchart LR
  L[laptop · databricks CLI] -->|auth login| W[workspace]
  W --> C[catalog workspace]
  C --> S[schema de]
  S --> V[volume raw · 4 file CSV]

CLI trước, giao diện sau

Track 2–4 ưu tiên databricks CLI: lệnh gõ lại được, đưa vào script và CI/CD được (Track 3), và không phụ thuộc chỗ đặt nút. Đăng nhập bằng databricks auth login (OAuth qua trình duyệt) thay vì dán personal access token vào terminal. SQL và PySpark vẫn chạy trong notebook hoặc SQL editor của workspace; tab Command ghi rõ mỗi lệnh chạy ở đâu ($ là terminal, sql> là SQL editor, >>> là cell notebook).

Ghi chú về output

Output mẫu của Track 2 viết theo tài liệu Databricks, chưa chạy trên workspace thật; chữ in ra trên màn hình của bạn có thể khác đôi chút (đặc biệt các trường JSON được rút gọn bằng ...). Con số tính trên dữ liệu (số dòng, tổng tiền) thì khớp Track 1 vì dùng cùng bộ dữ liệu.

Lệnh hay dùng

Lệnh Để làm gì
databricks auth login --host <url> --profile DEFAULT đăng nhập CLI bằng OAuth
databricks current-user me kiểm tra đang dùng tài khoản nào
databricks schemas create <schema> <catalog> tạo schema
databricks volumes create <catalog> <schema> <volume> MANAGED tạo volume
databricks fs cp <file> dbfs:/Volumes/<catalog>/<schema>/<volume>/ chép file lên volume
databricks fs ls dbfs:/Volumes/... liệt kê file trong volume

Lỗi hay gặp

Học tương tác →