A/B 테스트 설계 도우미
가설·샘플 사이즈·기간·가드레일·결과 해석까지 담은 통계적으로 탄탄한 A/B 테스트 계획서를 만들어 줍니다.
데이터·분석중급★ 1,303⑂ 231AI 점수 8/10마지막 업데이트: 2026. 8. 22.
무엇을 해주나
- 제품 기능, UI 변경, 온보딩 플로우, 가격 실험에 대한 완결형 A/B 테스트 계획서를 작성합니다.
- 방향성 있는 가설 템플릿("[변경]이 [지표]를 [X%] [증가/감소]시킬 것이다, 왜냐하면 …")을 강제합니다.
- 기준 전환율과 MDE(최소 탐지 효과)를 바탕으로 필요한 표본 수와 예상 실험 기간(최소 2주, 최대 4주)을 추정합니다.
- 매출·리텐션·핵심 참여를 지키는 가드레일 지표와 롤백 임계값을 반드시 포함시킵니다.
- 결과를 배포 / 재설계 / 기각 / 판정 불가 네 갈래로 나눠 사전에 기준을 못 박습니다.
- p-해킹(중간 엿보기), 다중 비교 문제, 프록시 지표 오용 같은 안티패턴을 경고합니다.
이런 분께 추천
- 실험 문화를 막 도입 중인 프로덕트 매니저·그로스 담당자
- 통계 전공은 아니지만 신뢰할 수 있는 실험 설계를 하고 싶은 기획자
- 팀 내부의 A/B 테스트 리뷰 기준을 표준화하려는 리드
활용 예시
- "결제 버튼 문구 변경 A/B 테스트를 설계해줘. 현재 전환율 5%, 하루 유효 사용자 4,000명" → 필요한 표본 수, 예상 기간, 가드레일 지표가 포함된 계획서 생성.
- "온보딩 3단계를 2단계로 줄이는 실험, 가설을 잡아줘" → 데이터 근거를 묻고 방향성 가설 템플릿을 채워 줌.
- "트래픽이 하루 500명뿐인데 테스트 가능할까?" → 유의성 도달 불가를 경고하고 사용자 인터뷰·5초 테스트 같은 정성 대안을 제안.
· · · 설치 가이드 · · ·
설치 없이 지금 한 번 써보기
아래를 Claude에 붙여넣으면 설치하지 않고도 이 스킬을 그대로 씁니다.
이 파일의 지시를 읽고 그대로 따라서 나를 도와줘: https://raw.githubusercontent.com/mohitagw15856/pm-claude-skills/HEAD/exports/openclaw/ab-test-planner/SKILL.md 내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)
Claude가 링크를 열지 못하면, 링크를 직접 열어 내용을 복사해 붙여넣으세요.
↓ 쓸 만하면 아래에서 ZIP을 받아 설치하세요. 그러면 매번 붙여넣지 않아도 알아서 작동합니다.
Claude 앱에 설치 (터미널 필요 없음)
- 아래 버튼으로 ZIP 파일을 받으세요.
- Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
- Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
Claude Code에 설치
Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요
클로드스킬마트에서 찾은 스킬을 설치해줘. GitHub 저장소 mohitagw15856/pm-claude-skills 의 exports/openclaw/ab-test-planner 폴더를 내 ~/.claude/skills/ab-test-planner/ 에 그대로 복사해줘. 설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.
직접 명령으로 설치하기
git clone https://github.com/mohitagw15856/pm-claude-skills.git /tmp/pm-claude-skills && mkdir -p ~/.claude/skills/ab-test-planner && cp -r /tmp/pm-claude-skills/exports/openclaw/ab-test-planner/* ~/.claude/skills/ab-test-planner/⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.
- 터미널을 엽니다.
- 저장소를 내려받습니다:
git clone https://github.com/mohitagw15856/pm-claude-skills.git - 스킬 폴더를 만듭니다:
mkdir -p ~/.claude/skills/ab-test-planner - 파일을 복사합니다:
cp -r pm-claude-skills/exports/openclaw/ab-test-planner/* ~/.claude/skills/ab-test-planner/ - Claude Code를 재시작한 뒤 "A/B 테스트 설계해줘"라고 요청하면 스킬이 자동 호출됩니다.
- 기준 전환율·일일 사용자 수 같은 실제 수치를 미리 준비해 두면 결과 품질이 훨씬 좋아집니다.
GitHub에서 원본 보기 ↗라이선스: MIT