A/B 테스트 결과 리드아웃
종료된 A/B 테스트 결과를 통계적·실무적 유의성까지 따져 '출시/보류' 결론이 담긴 리드아웃 문서로 정리해 줍니다.
데이터·분석중급★ 1,319⑂ 232AI 점수 8/10마지막 업데이트: 2026. 8. 28.
무엇을 해주나
- 대조군/실험군 수치를 받아 **한 줄 판정(Ship / Don't ship / 결론 불가)**부터 제시합니다.
- 지표 표(주요 지표 + 가드레일 지표), 상대 리프트, p값·신뢰구간을 정리합니다.
- 통계적 유의성과 실무적 유의성을 구분해, '유의하지만 의미 없는 리프트'를 걸러냅니다.
- A/B 결과가 거짓말하는 전형적 경로(표본·검정력 부족, 조기 확인(peeking), 신기효과/초두효과, 특정 세그먼트가 끌어올린 승리)를 점검합니다.
- 세그먼트별 효과(신규/재방문, 플랫폼, 지역)와 출시 후 모니터링 항목·후속 실험 제안까지 마무리합니다.
이런 분께 추천
- 실험 결과를 정리해 의사결정 문서를 써야 하는 프로덕트 매니저·그로스 담당자
- 데이터 분석가에게 결과를 받아 팀에 설명해야 하는 리더
- 가드레일 지표 회귀를 놓치고 성급히 배포하는 문화를 고치고 싶은 팀
활용 예시
- "결제 버튼 문구 실험 끝났어. 대조군 전환 4.1%(n=12,000), 실험군 4.4%(n=11,800), 2주 진행. 리드아웃 써줘" → 판정 + 유의성 검토 + 리스크 플래그.
- "주요 지표는 +6%인데 환불률이 살짝 올랐어" → 가드레일 회귀를 근거로 출시 보류/조건부 출시 권고.
- "5일 만에 유의하게 나왔는데 배포해도 될까?" → peeking·검정력 문제를 지적하고 필요한 추가 표본을 정리.
· · · 설치 가이드 · · ·
설치 없이 지금 한 번 써보기
아래를 Claude에 붙여넣으면 설치하지 않고도 이 스킬을 그대로 씁니다.
이 파일의 지시를 읽고 그대로 따라서 나를 도와줘: https://raw.githubusercontent.com/mohitagw15856/pm-claude-skills/HEAD/exports/openclaw/ab-test-readout/SKILL.md 내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)
Claude가 링크를 열지 못하면, 링크를 직접 열어 내용을 복사해 붙여넣으세요.
↓ 쓸 만하면 아래에서 ZIP을 받아 설치하세요. 그러면 매번 붙여넣지 않아도 알아서 작동합니다.
Claude 앱에 설치 (터미널 필요 없음)
- 아래 버튼으로 ZIP 파일을 받으세요.
- Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
- Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
Claude Code에 설치
Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요
클로드스킬마트에서 찾은 스킬을 설치해줘. GitHub 저장소 mohitagw15856/pm-claude-skills 의 exports/openclaw/ab-test-readout 폴더를 내 ~/.claude/skills/ab-test-readout/ 에 그대로 복사해줘. 설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.
직접 명령으로 설치하기
git clone https://github.com/mohitagw15856/pm-claude-skills.git /tmp/pm-claude-skills && mkdir -p ~/.claude/skills/ab-test-readout && cp -r /tmp/pm-claude-skills/exports/openclaw/ab-test-readout/* ~/.claude/skills/ab-test-readout/⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.
- 터미널을 엽니다.
- 저장소를 내려받습니다:
git clone https://github.com/mohitagw15856/pm-claude-skills.git - 스킬 폴더를 만듭니다:
mkdir -p ~/.claude/skills/ab-test-readout - 파일을 복사합니다:
cp -r pm-claude-skills/exports/openclaw/ab-test-readout/* ~/.claude/skills/ab-test-readout/ - Claude Code를 다시 실행한 뒤 "A/B 테스트 리드아웃 써줘"처럼 요청하면 스킬이 발동합니다.
- 요청할 때 가설, 주요 지표, 각 그룹의 표본 수와 전환 수, 기간, 가드레일 지표를 함께 주면 결과 품질이 크게 올라갑니다.
GitHub에서 원본 보기 ↗라이선스: MIT