Hướng dẫn tính toán phân tán Dask
Kỹ năng giúp mở rộng code pandas/NumPy vượt giới hạn RAM bằng xử lý song song và phân tán với Dask.
Dữ liệu · Phân tíchTrung cấp★ 33,030⑂ 3,248Điểm AI 9/10Cập nhật lần cuối: 9 thg 8, 2026
Kỹ năng này làm gì
- Giúp chọn đúng thành phần Dask: DataFrame, Array, Bag, Futures và scheduler theo loại dữ liệu, mức kiểm soát và kiểu workflow.
- Đưa ra quy tắc hiệu năng kèm code: lười (lazy) đến khi
.compute(), chunk ~100 MB, dùngmap_partitions/map_blocks. - Chỉ rõ các lỗi phổ biến: đọc hết dữ liệu bằng pandas rồi
from_pandas, gọicompute()lặp lại, đồ thị tác vụ quá lớn. - Cung cấp quy trình gỡ lỗi ba bước: scheduler
synchronous→ threads trên mẫu nhỏ → distributed kèm dashboard. - Tham chiếu tài liệu chi tiết trong thư mục
references/.
Phù hợp với ai
- Kỹ sư dữ liệu, nhà phân tích đang bị giới hạn RAM với pandas.
- Người cần xử lý hàng loạt file CSV/Parquet/JSON log cùng lúc.
- Nhóm ML/khoa học dữ liệu muốn mở rộng từ laptop lên cụm máy.
Ví dụ sử dụng
- Đọc
data/2024-*.csv, lọc, gộp theo nhóm rồi ghi ra Parquet trong một pipeline ETL duy nhất. - Chuẩn hóa mảng khổng lồ theo chunk và lưu bằng
da.to_zarr. - Chạy quét tham số song song bằng
client.scatter+client.submit, theo dõi qua dashboard của Dask.
· · · Hướng dẫn cài đặt · · ·
Dùng thử ngay, không cần cài
Dán đoạn dưới vào Claude là dùng được skill này mà không cần cài đặt.
Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình: https://raw.githubusercontent.com/K-Dense-AI/scientific-agent-skills/HEAD/skills/dask/SKILL.md Mình muốn: (viết việc bạn cần ở đây)
Nếu Claude không mở được liên kết, hãy mở liên kết và copy nội dung vào rồi dán.
↓ Thấy hữu ích thì tải ZIP bên dưới và cài. Sau đó skill tự chạy, không phải dán lại mỗi lần.
Cài vào ứng dụng Claude (không cần terminal)
- Tải tệp ZIP bằng nút bên dưới.
- Trong Claude, mở Settings → Capabilities và bật 'Code execution and file creation'. (chỉ một lần)
- Vào Customize → Skills → + → 'Upload a skill' rồi tải tệp ZIP lên.
Cài vào Claude Code
Để Claude làm — dán câu dưới đây vào Claude Code
Hãy cài skill mình tìm thấy trên Claude Skill Mart. Copy thư mục skills/dask từ repo GitHub K-Dense-AI/scientific-agent-skills vào ~/.claude/skills/dask/ của mình. Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.
Cài bằng lệnh thủ công
git clone https://github.com/K-Dense-AI/scientific-agent-skills.git /tmp/sas && mkdir -p ~/.claude/skills && cp -r /tmp/sas/skills/dask ~/.claude/skills/⚠ Đây là skill do người khác tạo. Hãy kiểm tra repo gốc trước khi cài.
- Mở terminal.
- Tải mã nguồn:
git clone https://github.com/K-Dense-AI/scientific-agent-skills.git - Tạo thư mục kỹ năng:
mkdir -p ~/.claude/skills - Sao chép toàn bộ thư mục dask (gồm cả
references/):cp -r scientific-agent-skills/skills/dask ~/.claude/skills/ - Cài Dask trong môi trường Python:
pip install "dask[complete]>=2025.1"(thêms3fshoặcgcsfsnếu dùng lưu trữ đám mây). - Khởi động lại Claude Code và yêu cầu ví dụ: "Dùng Dask gộp hàng trăm file CSV này giúp mình".
Xem mã nguồn trên GitHub ↗Giấy phép: MIT