PufferLib 강화학습 가이드

무엇을 해주나

PufferLib은 강화학습 환경을 고속으로 벡터화하고 학습시키는 라이브러리입니다. 이 스킬은 서로 호환되지 않는 두 버전 계열(PyPI 정식 릴리스 3.0.0과 업스트림 소스 4.0)을 명시적으로 구분해, 잘못된 API 조합으로 시간을 낭비하지 않도록 도와줍니다.

• Gymnasium / PettingZoo 환경을 GymnasiumPufferEnv, PettingZooPufferEnv로 감싸는 올바른 방법 안내
• pufferlib.vector 백엔드(Serial → Multiprocessing) 전환 절차와 배치 형태 확인 체크리스트
• 정책(Policy) 구성, 재귀 신경망 조합, nativize_dtype 사용 패턴 정리
• 실행 대신 "학습 계획(JSON)"을 먼저 생성·검증하는 dry-run 워크플로
• 체크포인트를 torch.load 하기 전에 해시·출처만 검사하는 안전 점검 도구
• W&B / Neptune 자격증명을 절대 인자·설정·로그에 넣지 않도록 강제하는 규칙

번들된 CLI 스크립트들은 모두 표준 라이브러리만 사용하고, 네트워크·GPU 없이 CPU에서 합성 데이터로 동작합니다.

이런 분께 추천

• PufferLib으로 대규모 환경 시뮬레이션·학습을 돌리는 강화학습 연구자/엔지니어
• 기존 Gymnasium·PettingZoo 환경을 PufferLib에 이식해야 하는 팀
• 외부에서 받은 체크포인트나 환경 패키지를 검증 후 사용해야 하는 보안 민감 환경
• 실험 재현성(시드 분리, 커밋 핀 고정, 락파일 커밋)을 중시하는 MLOps 담당자

활용 예시

1. 환경 계약 검증: 직접 만든 Gymnasium 환경이 reset/step 규약을 지키는지 python3 scripts/env_contract_validator.py --steps 64 --episodes 8 --seed 42로 관찰 공간·dtype·terminated/truncated 구분까지 자동 점검합니다.
2. 학습 계획 생성 후 검토: scripts/train_template.py --profile pypi-3.0.0 --device cpu --total-timesteps 10000으로 실제 학습을 띄우지 않고 설정 JSON만 뽑은 뒤, validate_plan.py로 자원 상한·시드 분리·버전 혼용 여부를 검사합니다.
3. 체크포인트 안전 점검: 공개된 .pt 파일을 받았을 때 scripts/inspect_checkpoint.py checkpoint.pt --expected-sha256 ...로 역직렬화 없이 해시를 대조하고, 통과한 경우에만 샌드박스에서 로드합니다.

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 K-Dense-AI/scientific-agent-skills 의 skills/pufferlib 폴더를 내 ~/.claude/skills/pufferlib/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.