nanoGPT 미니멀 GPT 학습 가이드

무엇을 해주나

• Andrej Karpathy의 nanoGPT를 기준으로 데이터 준비 → 학습 → 샘플링 전 과정을 명령어 단위로 안내합니다.
• train_shakespeare_char.py, train_gpt2.py, finetune_shakespeare.py 등 설정 파일의 핵심 하이퍼파라미터(n_layer, n_head, block_size, lr, gradient_accumulation_steps)를 설명합니다.
• CUDA OOM, 학습 속도 저하, 생성 품질 저하, GPT-2 가중치 로드 실패 같은 흔한 문제의 해결책을 제시합니다.
• CPU/T4/A100 기준 예상 학습 시간과 VRAM 요구량, 그리고 HuggingFace·Megatron-LM·LitGPT 등 대안과의 비교 기준을 제공합니다.

이런 분께 추천

• 트랜스포머와 GPT 구조를 코드 수준에서 처음부터 이해하고 싶은 학습자
• 강의·스터디에서 소규모 언어모델 학습을 실습 과제로 다루는 교육자
• 아키텍처 변형(어텐션, MLP, 임베딩)을 빠르게 실험해보려는 ML 엔지니어·연구자

활용 예시

1. "CPU만 있는 노트북에서 5분 안에 언어모델을 돌려보고 싶어" → shakespeare_char 준비·학습·샘플링 3단계 명령 안내.
2. "8장 GPU로 GPT-2 124M을 재현하려면 배치와 러닝레이트를 어떻게 잡아야 해?" → torchrun DDP 명령과 gradient_accumulation_steps 설정 제시.
3. "내 텍스트 파일로 학습시키고 싶어" → 문자 단위 토크나이저와 train.bin/val.bin 생성 스크립트 예시 제공.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/HEAD/01-model-architecture/nanogpt/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 Orchestra-Research/AI-Research-SKILLs 의 01-model-architecture/nanogpt 폴더를 내 ~/.claude/skills/nanogpt/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.