Hướng dẫn PufferLib cho Học tăng cường

Kỹ năng hướng dẫn dùng PufferLib theo từng phiên bản (3.0.0 và nhánh 4.0) cho việc bọc môi trường, vector hóa, huấn luyện PuffeRL và kiểm tra checkpoint an toàn.

Lập trìnhNâng cao★ 33,030⑂ 3,248Điểm AI 8/10Cập nhật lần cuối: 9 thg 8, 2026

Nó làm được gì

PufferLib là thư viện giúp vector hóa và huấn luyện môi trường học tăng cường (RL) ở tốc độ cao. Kỹ năng này tách bạch hai nhánh không tương thích: bản phát hành chính thức trên PyPI 3.0.0 và nhánh nguồn 4.0, nhờ đó bạn không trộn lẫn API của hai bên.

Cách bọc môi trường Gymnasium / PettingZoo bằng GymnasiumPufferEnv và PettingZooPufferEnv
Quy trình chuyển backend vector hóa từ Serial sang Multiprocessing kèm danh sách kiểm tra shape/batch
Mẫu xây dựng policy Torch, mạng hồi quy, và cách dùng nativize_dtype
Luồng dry-run: sinh "kế hoạch huấn luyện" dạng JSON rồi kiểm định trước khi chạy thật
Công cụ kiểm tra checkpoint chỉ bằng hash/metadata, không gọi torch.load
Quy tắc nghiêm ngặt: không bao giờ đưa khóa W&B / Neptune vào tham số, config hay log

Toàn bộ script đi kèm chỉ dùng thư viện chuẩn, chạy trên CPU, dữ liệu tổng hợp, không cần mạng hay GPU.

Dành cho ai

Nhà nghiên cứu / kỹ sư RL đang chạy mô phỏng quy mô lớn với PufferLib
Nhóm cần chuyển môi trường Gymnasium hoặc PettingZoo sẵn có sang PufferLib
Môi trường nhạy cảm về bảo mật, phải thẩm định checkpoint hay gói môi trường bên thứ ba
Người làm MLOps quan tâm tính tái lập: tách seed, ghim commit, commit lockfile

Ví dụ sử dụng

Kiểm định hợp đồng môi trường: chạy python3 scripts/env_contract_validator.py --steps 64 --episodes 8 --seed 42 để tự động kiểm tra space, dtype, phần thưởng hữu hạn và phân biệt terminated với truncated.
Sinh kế hoạch huấn luyện rồi rà soát: dùng scripts/train_template.py --profile pypi-3.0.0 --device cpu --total-timesteps 10000 để tạo JSON cấu hình mà không khởi chạy, sau đó validate_plan.py sẽ bắt lỗi trộn phiên bản, tài nguyên không giới hạn hay seed train/eval trùng nhau.
Thẩm định checkpoint tải về: với file .pt lạ, chạy scripts/inspect_checkpoint.py checkpoint.pt --expected-sha256 ... để đối chiếu hash mà không giải tuần tự hóa, rồi mới nạp trong sandbox.

· · · Hướng dẫn cài đặt · · ·

Cài vào ứng dụng Claude (không cần terminal)

Tải tệp ZIP bằng nút bên dưới.
Trong Claude, mở Settings → Capabilities và bật 'Code execution and file creation'. (chỉ một lần)
Vào Customize → Skills → + → 'Upload a skill' rồi tải tệp ZIP lên.

↓ Tải ZIP

Cài vào Claude Code

Để Claude làm — dán câu dưới đây vào Claude Code

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục skills/pufferlib từ repo GitHub K-Dense-AI/scientific-agent-skills vào ~/.claude/skills/pufferlib/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.

Cài bằng lệnh thủ công

git clone https://github.com/K-Dense-AI/scientific-agent-skills.git /tmp/scientific-agent-skills && mkdir -p ~/.claude/skills && cp -r /tmp/scientific-agent-skills/skills/pufferlib ~/.claude/skills/

⚠ Đây là skill do người khác tạo. Hãy kiểm tra repo gốc trước khi cài.

Mở terminal và clone kho chứa kỹ năng:

git clone https://github.com/K-Dense-AI/scientific-agent-skills.git

Tạo thư mục kỹ năng của Claude Code nếu chưa có:
```
mkdir -p ~/.claude/skills
```

Sao chép riêng thư mục pufferlib:

cp -r scientific-agent-skills/skills/pufferlib ~/.claude/skills/

Kiểm tra Python từ 3.10 trở lên bằng python3 --version. Các script đi kèm không cần cài thêm gói nào.
Khởi động lại Claude Code, rồi thử yêu cầu như "kiểm tra môi trường PufferLib của tôi" để kích hoạt kỹ năng.
Khi cần huấn luyện thật, tạo môi trường ảo riêng và ghim phiên bản: uv venv --python 3.11 rồi uv add --exact "pufferlib==3.0.0". Vì bản nguồn có biên dịch mã native, hãy build trong sandbox không chứa khóa bí mật.

Xem mã nguồn trên GitHub ↗Giấy phép: MIT