AI 스킬마트스킬 둘러보기명령어프로그램배우기스킬이 뭐예요?
← 목록으로

compare — 학습 run 동일 스텝 비교

wandb·neptune·mlflow·tensorboard·로컬 결과 파일의 학습 run을 같은 에폭에서 정렬해 비교하고 실험 리포트까지 작성해 주는 스킬.

데이터·분석중급★ 438⑂ 38AI 점수 9/10마지막 업데이트: 2026. 10. 30.

무엇을 해주나

  • 트래커를 자동 감지합니다(환경변수·설정 파일·mlruns/·runs/·결과 JSON/CSV 순으로 확인).
  • 비교의 핵심인 동일 스텝 정렬을 강제합니다. 학습 중인 run이 11에폭이면, 베이스라인도 11에폭 지점을 잘라서 비교합니다(100에폭 최종값과 비교하지 않음).
  • 프록시 지표(kNN 정확도, loss, perplexity)와 다운스트림 목표 지표(linear probe, 태스크 F1)를 분리해 각각 보고하고, 프록시만으로는 승자를 선언하지 않습니다.
  • 여러 run 랭킹(최고 성능, GPU 시간당 효율, 이상 종료 run), 애블레이션 델타 분석, 실험 리포트 템플릿 작성, 주기적 학습 모니터링(cron + 알림) 까지 다룹니다.
  • run 이름은 항상 전체 이름으로 출력하도록 규칙을 둡니다.

이런 분께 추천

  • 여러 학습 run을 돌리며 베이스라인 대비 진행 상황을 추적하는 ML 연구자·엔지니어
  • 논문/리포트용 결과 표와 애블레이션 분석을 정리해야 하는 분
  • wandb, neptune, mlflow, tensorboard 중 하나라도 쓰고 있는 팀

활용 예시

  1. "distill-from-vit-l run이 baseline보다 뒤처지고 있나?" → 현재 에폭에서 베이스라인을 슬라이스해 프록시·다운스트림 표로 비교하고, 따라잡을 예상 스텝까지 제시.
  2. "이번 주 실험 12개 요약 리포트 써줘" → Overview / Results Table / Key Findings / Recommendations 형식의 리포트 생성.
  3. "학습 잘 돌아가는지 10분마다 확인해서 알려줘" → GPU 사용률·로그 신선도를 체크하는 cron 작업과 알림 연동 구성.

· · · 설치 가이드 · · ·

설치 없이 지금 한 번 써보기

아래를 Claude에 붙여넣으면 설치하지 않고도 이 스킬을 그대로 씁니다.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/fcakyon/labrat/HEAD/plugin/skills/compare/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

Claude가 링크를 열지 못하면, 링크를 직접 열어 내용을 복사해 붙여넣으세요.

↓ 쓸 만하면 아래에서 ZIP을 받아 설치하세요. 그러면 매번 붙여넣지 않아도 알아서 작동합니다.

Claude 앱에 설치 (터미널 필요 없음)
  1. 아래 버튼으로 ZIP 파일을 받으세요.
  2. Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
  3. Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
↓ ZIP 내려받기
Claude Code에 설치

Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요

AI 스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 fcakyon/labrat 의 plugin/skills/compare 폴더를 내 ~/.claude/skills/fcakyon-compare/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.

직접 명령으로 설치하기

git clone https://github.com/fcakyon/labrat.git /tmp/labrat && mkdir -p ~/.claude/skills && cp -r /tmp/labrat/plugin/skills/compare ~/.claude/skills/compare

⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.

  1. 터미널을 엽니다.
  2. 저장소를 받습니다: git clone https://github.com/fcakyon/labrat.git /tmp/labrat
  3. 스킬 폴더를 만듭니다: mkdir -p ~/.claude/skills
  4. 스킬을 복사합니다: cp -r /tmp/labrat/plugin/skills/compare ~/.claude/skills/compare
  5. (권장) 알림·/labrat:setup 같은 연동 기능까지 쓰려면 labrat 플러그인 전체를 플러그인으로 설치하세요.
  6. 사용하는 트래커의 인증을 미리 끝냅니다(예: wandb login, 또는 NEPTUNE_API_TOKEN·MLFLOW_TRACKING_URI 환경변수 설정).
  7. Claude Code를 재시작한 뒤 "run A와 baseline을 같은 에폭에서 비교해줘"처럼 요청하면 스킬이 발동합니다.