AI 스킬마트스킬 둘러보기명령어프로그램배우기스킬이 뭐예요?
 
← 목록으로

Runner 평가 케이스 추가

Paperclip Runner 프로토콜 평가 케이스·로스터·어서션·리포트 픽스처를 프로비넌스와 좁은 검증 규칙에 맞춰 추가하도록 돕는 내부 전용 스킬.

개발·코딩고급★ 108,978⑂ 18,043AI 점수 6/10마지막 업데이트: 2026. 10. 30.

무엇을 해주나

Paperclip Runner의 Runner Evals 계열(시드된 모의 컨트롤 플레인에 대해 실제 Runner/프로바이더 세션을 돌리는 평가)에 새 케이스를 추가하거나 기존 정의를 확장할 때의 작업 절차를 고정해 줍니다.

  • 체크아웃 루트 탐색 규칙(PAPERCLIP_ROOT, git rev-parse --show-toplevel, PAPERCLIP_EVALS_ROOT)
  • 파일 배치 규칙: 케이스는 cases/, 회사 픽스처는 fixtures/, 런타임·모델 설정은 configs/, 선택 묶음은 rosters/, 캠페인 멤버십은 campaigns/live-direct-full.json
  • 프로바이더 호출 없이 먼저 돌리는 validate 명령 4종 제시
  • 공개 산출물 경계: 정제된 픽스처 대화와 허용 목록의 툴 결과만 공개, 자격증명·비밀값·원본 아티팩트·숨은 추론은 비공개

이런 분께 추천

  • paperclipai/paperclip 저장소와 sibling paperclip-evals 저장소를 함께 쓰는 내부 개발자
  • Runner 프로토콜 평가의 채점기(grader)와 리포트 픽스처를 손보는 사람
  • 외부 사용자에게는 거의 적용되지 않습니다(두 저장소가 없으면 동작 불가).

활용 예시

  1. get-task-context.json 같은 새 케이스를 추가한 뒤 eval_program.py validate로 프로바이더 없이 1차 검증.
  2. rosters/live-mini.json에 새 케이스를 넣고 run_live_roster.py validate --run-id validate-new-case로 로스터 정합성 확인.
  3. 증거가 누락·손상된 음성 케이스를 함께 만들어 채점기가 fail-closed 되는지 캘리브레이션.

· · · 설치 가이드 · · ·

설치 없이 지금 한 번 써보기

아래를 Claude에 붙여넣으면 설치하지 않고도 이 스킬을 그대로 씁니다.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/paperclipai/paperclip/HEAD/.agents/skills/add-runner-eval/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

Claude가 링크를 열지 못하면, 링크를 직접 열어 내용을 복사해 붙여넣으세요.

↓ 쓸 만하면 아래에서 ZIP을 받아 설치하세요. 그러면 매번 붙여넣지 않아도 알아서 작동합니다.

Claude 앱에 설치 (터미널 필요 없음)
  1. 아래 버튼으로 ZIP 파일을 받으세요.
  2. Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
  3. Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
↓ ZIP 내려받기
Claude Code에 설치

Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요

AI 스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 paperclipai/paperclip 의 .agents/skills/add-runner-eval 폴더를 내 ~/.claude/skills/add-runner-eval/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.

직접 명령으로 설치하기

git clone https://github.com/paperclipai/paperclip.git /tmp/paperclip && mkdir -p ~/.claude/skills/add-runner-eval && cp -r /tmp/paperclip/.agents/skills/add-runner-eval/* ~/.claude/skills/add-runner-eval/

⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.

  1. 터미널을 엽니다.
  2. 저장소를 클론합니다: git clone https://github.com/paperclipai/paperclip.git
  3. 스킬 폴더를 만듭니다: mkdir -p ~/.claude/skills/add-runner-eval
  4. 파일을 복사합니다: cp -r paperclip/.agents/skills/add-runner-eval/* ~/.claude/skills/add-runner-eval/
  5. 실제 사용을 위해서는 sibling paperclip-evals 저장소도 같은 상위 디렉터리에 체크아웃하고, 필요하면 PAPERCLIP_ROOT/PAPERCLIP_EVALS_ROOT 환경변수를 설정합니다.
  6. Claude Code를 재시작한 뒤 "Runner eval 케이스를 추가해줘"처럼 요청하면 스킬이 발동합니다.
GitHub에서 원본 보기 ↗라이선스: MIT