LitGPT로 LLM 구현·파인튜닝하기

무엇을 해주나

• LitGPT 설치부터 LLM.load()로 Phi-2, Llama 3, Gemma 등 20종 이상 모델을 불러오는 방법을 알려줍니다.
• 커스텀 데이터셋(Alpaca JSON) 준비 → 풀 파인튜닝 / LoRA 파인튜닝 → 어댑터 병합까지의 CLI 명령을 체크리스트로 제공합니다.
• 도메인 코퍼스로 처음부터 사전학습(FSDP·멀티 GPU·SLURM)하는 절차를 정리합니다.
• 양자화, GGUF 변환, FastAPI 서빙 등 배포 단계와 OOM·속도 저하 같은 흔한 문제 해결법을 담았습니다.
• Axolotl/TRL, Megatron, vLLM 등 대안과의 비교로 언제 LitGPT를 써야 할지 판단을 돕습니다.

이런 분께 추천

• 단일 GPU(12~16GB)에서 소형 LLM을 파인튜닝하려는 ML 엔지니어
• 추상화 레이어 없는 단일 파일 구현으로 트랜스포머 구조를 공부하려는 연구자·학생
• Lightning 생태계를 쓰거나 사내 도메인 모델을 사전학습하려는 팀

활용 예시

1. "고객 상담 로그 3천 건으로 Phi-2를 LoRA 파인튜닝해줘" → 데이터 포맷 변환, litgpt finetune_lora 하이퍼파라미터, 메모리 추정까지 제시.
2. "7B 모델 풀 파인튜닝하다 OOM이 났어" → LoRA 전환, micro/global batch 조정, gradient accumulation 설정 안내.
3. "학습한 어댑터를 API로 서빙하고 싶어" → merge_lora 후 양자화, FastAPI 엔드포인트 코드까지 생성.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/HEAD/01-model-architecture/litgpt/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 Orchestra-Research/AI-Research-SKILLs 의 01-model-architecture/litgpt 폴더를 내 ~/.claude/skills/implementing-llms-litgpt/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.