Modal – Triển khai GPU serverless

Kỹ năng này làm gì

Modal là nền tảng serverless chạy Python trên đám mây, tập trung vào khối lượng công việc AI/ML. Kỹ năng này trang bị cho Claude kiến thức chuẩn xác về SDK Modal phiên bản 1.x.

• Thực thi từ xa với @app.function() / @app.cls() và các hook vòng đời @modal.enter / @modal.exit
• Chỉ định GPU bằng chuỗi: gpu="H100", gpu="H100:4", danh sách dự phòng
• Định nghĩa container image hoàn toàn bằng Python (uv_pip_install, apt_install, run_function)
• Volume lưu trữ bền vững cho trọng số mô hình, quản lý Secret, endpoint FastAPI
• Lịch chạy Cron/Period, autoscaling và @modal.concurrent
• modal.Sandbox để chạy code không tin cậy trong môi trường cách ly

Kèm 12 tệp references/*.md chi tiết theo từng chủ đề, chỉ đọc khi cần.

Phù hợp với ai

• Kỹ sư ML muốn serve hoặc fine-tune mô hình trên GPU theo nhu cầu
• Lập trình viên muốn triển khai chỉ bằng Python, không cần Dockerfile hay Kubernetes
• Đội dữ liệu cần chạy ETL, huấn luyện lại, thu thập dữ liệu theo lịch
• Người xây dựng ứng dụng AI cần chạy code do agent sinh ra trong sandbox an toàn

Ví dụ sử dụng

1. Dịch vụ suy luận LLM — Yêu cầu "tạo app Modal serve Llama-3 bằng vLLM trên H100", Claude sẽ viết định nghĩa image, tải mô hình một lần trong @modal.enter() và tạo endpoint POST FastAPI.
2. Xử lý theo lô song song — Dựng pipeline đọc 100 file parquet, chạy song song bằng process_chunk.map() và ghi kết quả vào Volume.
3. ETL định kỳ 6 giờ — Kết hợp modal.Cron("0 */6 * * *") với modal.Secret.from_name("db-credentials") để nạp thông tin kết nối DB một cách an toàn.

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục skills/modal từ repo GitHub K-Dense-AI/scientific-agent-skills vào ~/.claude/skills/modal/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.