Product E2E 평가 추가하기
Paperclip 저장소에서 실제 브라우저·서버·러너를 쓰는 Product E2E 평가 워크플로와 픽스처·매처·증거 경로를 규칙대로 추가하게 돕는 스킬.
개발·코딩고급★ 108,442⑂ 17,963AI 점수 7/10마지막 업데이트: 2026. 10. 29.
무엇을 해주나
- Paperclip 모노레포의 Product E2E Eval(실제 Chromium + Paperclip 서버 + DB + 러너 + 프로바이더, 선택적으로 Daytona)을 새로 추가하거나 확장하는 절차를 강제합니다.
- 저장소 루트를
PAPERCLIP_ROOT또는git rev-parse --show-toplevel로 찾고,tests/runner-e2e와packages/paperclip-runner존재 여부로 검증하게 합니다. catalog.ts,fixture-registry.ts,everyday-cases.ts,everyday-flow.ts에 워크플로를 등록하고 셀렉터·매처 테이블까지 연결하도록 안내합니다.- 자격증명·비밀값을 카탈로그/스크린샷/로그에 남기지 않기, Daytona 이미지는 불변 다이제스트만 사용하기 같은 보안 규칙을 적용합니다.
- 실패 원인을 제품 버그 / 모델·프로바이더 동작 / 인프라로 증거 기반 분류하고, 부분 실행 결과를 전체 통과처럼 주장하지 않도록 막습니다.
이런 분께 추천
- Paperclip(
paperclipai/paperclip) 저장소에 평가 케이스를 기여하는 개발자 - 러너 E2E 스위트와 Everyday Workflows 스위트를 유지보수하는 QA·플랫폼 엔지니어
- 유료로 실행되는 라이브 E2E 캠페인을 안전하게 좁은 범위로만 돌려야 하는 팀
활용 예시
- "새 Everyday Workflow 케이스를 추가해줘" →
everyday-cases.ts/everyday-flow.ts에 케이스를 만들고catalog.ts에 등록한 뒤pnpm test:e2e:runner -- --list --suite everyday-workflows로 발견 여부를 확인. - "새 채점 매처를 보정해줘" → 올바른 결과와 그럴듯한 오답 두 가지로 검증해, 증거가 없을 때는 절대 통과가 나오지 않도록 캘리브레이션.
- "타임아웃으로 실패한 실행을 분류해줘" → 패키징된 증거와 대시보드를 근거로 제품 버그인지 프로바이더 동작인지 인프라 문제인지 구분해 기록.
· · · 설치 가이드 · · ·
설치 없이 지금 한 번 써보기
아래를 Claude에 붙여넣으면 설치하지 않고도 이 스킬을 그대로 씁니다.
이 파일의 지시를 읽고 그대로 따라서 나를 도와줘: https://raw.githubusercontent.com/paperclipai/paperclip/HEAD/.agents/skills/add-product-e2e-eval/SKILL.md 내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)
Claude가 링크를 열지 못하면, 링크를 직접 열어 내용을 복사해 붙여넣으세요.
↓ 쓸 만하면 아래에서 ZIP을 받아 설치하세요. 그러면 매번 붙여넣지 않아도 알아서 작동합니다.
Claude 앱에 설치 (터미널 필요 없음)
- 아래 버튼으로 ZIP 파일을 받으세요.
- Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
- Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
Claude Code에 설치
Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요
AI 스킬마트에서 찾은 스킬을 설치해줘. GitHub 저장소 paperclipai/paperclip 의 .agents/skills/add-product-e2e-eval 폴더를 내 ~/.claude/skills/add-product-e2e-eval/ 에 그대로 복사해줘. 설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.
직접 명령으로 설치하기
git clone https://github.com/paperclipai/paperclip.git && mkdir -p ~/.claude/skills && cp -r paperclip/.agents/skills/add-product-e2e-eval ~/.claude/skills/⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.
- 터미널을 엽니다.
- 저장소를 받습니다:
git clone https://github.com/paperclipai/paperclip.git - 스킬 폴더를 만듭니다:
mkdir -p ~/.claude/skills - 스킬을 복사합니다:
cp -r paperclip/.agents/skills/add-product-e2e-eval ~/.claude/skills/ - Claude Code를 다시 실행한 뒤
/skills(또는 스킬 목록)에서add-product-e2e-eval이 보이는지 확인합니다. - 이 스킬은 Paperclip 저장소 안에서만 동작하므로, 클론한 저장소 루트에서 작업하거나
PAPERCLIP_ROOT환경변수를 해당 경로로 지정하세요. pnpm install후pnpm test:e2e:runner -- --list로 스위트가 보이는지 먼저 확인합니다.
GitHub에서 원본 보기 ↗라이선스: MIT