compare — 동일 스텝 학습 런 비교
wandb·neptune·mlflow·tensorboard의 학습 런을 '같은 에폭' 기준으로 정렬해 공정하게 비교해주는 스킬입니다.
데이터·분석중급★ 361⑂ 31AI 점수 9/10마지막 업데이트: 2026. 7. 3.
무엇을 해주나
- 실험 트래커(wandb / neptune / mlflow / tensorboard / 로컬 JSON)를 환경변수·디렉터리로 자동 감지합니다.
- 최종값만 보는 대신 전체 메트릭 히스토리를 가져옵니다.
- 진행 중인 런(학생)의 현재 스텝을 찾아, 베이스라인을 같은 스텝에서 잘라 비교합니다. (11에폭 런을 100에폭 베이스라인과 비교하는 오류 차단)
- 프록시 지표(kNN 정확도, loss 등)와 다운스트림 목표 지표(선형 프로브, F1 등)를 분리해 표로 보고합니다.
- 축약형 대신 항상 전체 런 이름을 사용하고, 단일 시드·다른 평가셋 등 해석 함정을 경고합니다.
이런 분께 추천
- 여러 학습 실험을 동시에 돌리며 베이스라인 대비 성능을 추적하는 ML 연구자·엔지니어
- 논문·리포트용 실험 비교표를 반복해서 만들어야 하는 대학원생
- 팀 내에서 "이 런이 이기고 있나요?"라는 질문을 자주 받는 실험 관리자
활용 예시
- "현재 돌고 있는 fastvit 런이 conv 베이스라인을 따라잡고 있어?" → 두 런의 히스토리를 받아 현재 에폭 기준으로 잘라 델타를 표로 출력.
- "이번 스윕의 실험 5개 순위 매겨줘" → 동일 스텝 정렬 후 프록시/다운스트림 지표를 분리해 랭킹, 단일 시드 여부 표기.
- "내 런 수렴했어?" → 마지막 5에폭 곡선을 근거로 제시하고, 수렴 전 승패 단정은 피함.
· · · 설치 가이드 · · ·
설치 없이 지금 한 번 써보기
아래를 Claude에 붙여넣으면 설치하지 않고도 이 스킬을 그대로 씁니다.
이 파일의 지시를 읽고 그대로 따라서 나를 도와줘: https://raw.githubusercontent.com/fcakyon/phd-skills/HEAD/plugin/skills/compare/SKILL.md 내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)
Claude가 링크를 열지 못하면, 링크를 직접 열어 내용을 복사해 붙여넣으세요.
↓ 쓸 만하면 아래에서 ZIP을 받아 설치하세요. 그러면 매번 붙여넣지 않아도 알아서 작동합니다.
Claude 앱에 설치 (터미널 필요 없음)
- 아래 버튼으로 ZIP 파일을 받으세요.
- Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
- Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
Claude Code에 설치
Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요
클로드스킬마트에서 찾은 스킬을 설치해줘. GitHub 저장소 fcakyon/phd-skills 의 plugin/skills/compare 폴더를 내 ~/.claude/skills/compare/ 에 그대로 복사해줘. 설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.
직접 명령으로 설치하기
git clone https://github.com/fcakyon/phd-skills.git && mkdir -p ~/.claude/skills && cp -r phd-skills/plugin/skills/compare ~/.claude/skills/⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.
- 터미널을 엽니다.
- 저장소를 내려받습니다:
git clone https://github.com/fcakyon/phd-skills.git - 스킬 폴더를 만듭니다:
mkdir -p ~/.claude/skills - 스킬을 복사합니다:
cp -r phd-skills/plugin/skills/compare ~/.claude/skills/ - Claude Code를 재시작한 뒤 "내 wandb 런을 베이스라인과 비교해줘"처럼 요청하면 스킬이 발동합니다.
- 사전 준비: 사용하는 트래커의 인증 정보(
WANDB_API_KEY,NEPTUNE_API_TOKEN,MLFLOW_TRACKING_URI등)와 해당 파이썬 패키지를 미리 설정해 두세요.
GitHub에서 원본 보기 ↗라이선스: MIT