TorchTitan 분산 LLM 사전학습

무엇을 해주나

• PyTorch 공식 대규모 사전학습 프레임워크 torchtitan 설치부터 첫 학습 실행까지의 절차를 정리해 줍니다.
• 4D 병렬화(FSDP2 데이터 샤딩, 텐서 병렬, 파이프라인 병렬, 컨텍스트 병렬) 조합을 모델 크기·GPU 수에 맞게 설정하는 TOML 예시를 제공합니다.
• H100에서 30~50% 속도 향상을 노리는 Float8 + torch.compile 설정, SLURM 다중 노드 제출 스크립트, 분산 체크포인트(DCP) 저장·재개·변환 방법을 안내합니다.
• OOM, 텐서 병렬 메모리 급증, Float8이 빨라지지 않는 문제, 병렬화 구성 변경 후 체크포인트 로드 실패 등 실전 트러블슈팅 해법을 담고 있습니다.

이런 분께 추천

• Llama 3.1(8B/70B/405B), DeepSeek V3, Qwen 3 등을 처음부터 사전학습하려는 ML 엔지니어·연구자
• 8 GPU 단일 노드에서 512 GPU 클러스터까지 스케일업 경로를 설계해야 하는 인프라 담당자
• Megatron-LM/DeepSpeed 대신 PyTorch 네이티브 스택을 선호하는 팀

참고: 파인튜닝(LoRA/SFT) 목적이라면 이 스킬보다 Axolotl·TRL 계열이 적합합니다.

활용 예시

1. 단일 노드 8×H100에서 Llama 3.1 8B 사전학습 시작 — 토크나이저 다운로드 → llama3_8b_custom.toml 작성 → run_train.sh 실행 → TensorBoard 모니터링.
2. 32노드 256 GPU로 70B 학습 — FSDP 32 × TP 8 구성과 SLURM sbatch 스크립트로 제출하고 체크포인트에서 자동 재개.
3. 405B 4D 병렬화 — 시드 체크포인트를 먼저 생성한 뒤 FSDP 8 × TP 8 × PP 8 구성으로 64노드 512 GPU에 투입.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/HEAD/01-model-architecture/torchtitan/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 Orchestra-Research/AI-Research-SKILLs 의 01-model-architecture/torchtitan 폴더를 내 ~/.claude/skills/distributed-llm-pretraining-torchtitan/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.