Từ DuckDB trên máy sang Databricks
Track 1 chạy mọi thứ trên laptop với DuckDB. Track 2 chuyển sang Databricks: cùng ý tưởng (medallion, MERGE, idempotency) nhưng trên Spark, chạy phân tán, với bảng Delta và quyền quản lý bởi Unity Catalog. Bạn dùng Databricks Free Edition: miễn phí, compute serverless (không phải tự dựng cluster), có Unity Catalog, có quota sử dụng mỗi ngày. Bản Community Edition cũ đã ngừng; tài liệu, video hay giáo trình nào hướng dẫn Community Edition là đã lỗi thời.
Bốn mốc ổn định
Giao diện Databricks đổi thường xuyên: nút đổi chỗ, menu đổi tên. Bốn khu vực thì ổn định:
| Khu vực | Để làm gì |
|---|---|
| Workspace | Thư mục chứa notebook, file, thư mục cá nhân và dùng chung |
| Catalog | Unity Catalog: catalog → schema → bảng, view, volume; xem dữ liệu và quyền |
| Compute | Tài nguyên chạy: serverless cho notebook, SQL warehouse cho SQL |
| Jobs & Pipelines | Chạy notebook/pipeline theo lịch, xem lịch sử chạy |
Khi một ảnh chụp trong tài liệu không khớp màn hình của bạn: tin docs chính thức (docs.databricks.com), dùng ô Search của workspace, hoặc hỏi Databricks Assistant. Ảnh chụp lỗi thời nhanh hơn khái niệm.
Tên ba tầng và volume
Mọi đối tượng trong Unity Catalog có tên ba tầng: catalog.schema.object. Free Edition có sẵn catalog workspace; bài tạo schema de bên trong.
Volume là chỗ chứa file (CSV, JSON, ảnh), khác với bảng. Đường dẫn: /Volumes/<catalog>/<schema>/<volume>/<file>. Volume thay cho cách cũ là đặt file ở DBFS root (dbfs:/FileStore/...), vốn không có kiểm soát quyền theo Unity Catalog.
flowchart LR L[laptop · databricks CLI] -->|auth login| W[workspace] W --> C[catalog workspace] C --> S[schema de] S --> V[volume raw · 4 file CSV]
CLI trước, giao diện sau
Track 2–4 ưu tiên databricks CLI: lệnh gõ lại được, đưa vào script và CI/CD được (Track 3), và không phụ thuộc chỗ đặt nút. Đăng nhập bằng databricks auth login (OAuth qua trình duyệt) thay vì dán personal access token vào terminal. SQL và PySpark vẫn chạy trong notebook hoặc SQL editor của workspace; tab Command ghi rõ mỗi lệnh chạy ở đâu ($ là terminal, sql> là SQL editor, >>> là cell notebook).
Ghi chú về output
Output mẫu của Track 2 viết theo tài liệu Databricks, chưa chạy trên workspace thật; chữ in ra trên màn hình của bạn có thể khác đôi chút (đặc biệt các trường JSON được rút gọn bằng ...). Con số tính trên dữ liệu (số dòng, tổng tiền) thì khớp Track 1 vì dùng cùng bộ dữ liệu.
Lệnh hay dùng
| Lệnh | Để làm gì |
|---|---|
databricks auth login --host <url> --profile DEFAULT |
đăng nhập CLI bằng OAuth |
databricks current-user me |
kiểm tra đang dùng tài khoản nào |
databricks schemas create <schema> <catalog> |
tạo schema |
databricks volumes create <catalog> <schema> <volume> MANAGED |
tạo volume |
databricks fs cp <file> dbfs:/Volumes/<catalog>/<schema>/<volume>/ |
chép file lên volume |
databricks fs ls dbfs:/Volumes/... |
liệt kê file trong volume |
Lỗi hay gặp
- Làm theo hướng dẫn Community Edition đã ngừng.
- Dán token vào lệnh, vào notebook, rồi commit lên Git.
- Nhầm volume với bảng: file trong volume chưa phải bảng; muốn truy vấn phải đọc nó ra (bài sau).
- Quên dọn sau khi học xong track:
DROP SCHEMA workspace.de CASCADExoá cả bảng lẫn volume của schema. - Đảo thứ tự tham số:
schemas createnhận tên schema trước rồi tới catalog;volumes createnhận catalog, schema, tên volume, loại.