A/B 테스트 설계서 생성기

무엇을 해주나

테스트하려는 요소(헤드라인, CTA 버튼, 가격 페이지, 결제 흐름 등)와 현재 전환율, 일일 트래픽을 알려주면 실행 가능한 실험 설계서를 만들어 줍니다.

• If/Then/Because 형식의 가설문 작성 (근거 포함)
• 표본 크기 계산: 유의수준 95%, 검정력 80% 기본값으로 변형별/총 필요 샘플 산출
• 절대 vs 상대 MDE 구분: 5% 기준에서 같은 "10%"가 절대냐 상대냐에 따라 필요 표본이 약 200배 차이 난다는 점을 명시적으로 확인시켜 줍니다
• 테스트 기간 추정 (최소 7일, 8주 초과 시 유효성 위험 경고)
• 1차 지표·보조 지표·가드레일 지표 정의
• 모니터링 계획: SRM(표본 비율 불일치) 탐지, 기술 QA 체크포인트
• 중단 규칙과 Go/No-Go 판정 기준, 무승부 시 대응 프로토콜
• 사전 등록(pre-registration) 문서화로 사후 합리화 방지

이런 분께 추천

• CRO/그로스 담당자로서 실험을 체계적으로 돌려야 하는 분
• "통계적으로 유의한가?"를 매번 감으로 판단해 왔던 마케터
• 트래픽이 적어 테스트가 가능한지부터 판단해야 하는 스타트업 팀
• 실험 로그와 학습을 조직 자산으로 남기고 싶은 프로덕트 팀

활용 예시

1. 랜딩페이지 헤드라인 테스트: "전환율 3.2%, 일 방문자 1,800명, +0.5%p를 잡고 싶다" → 변형별 필요 표본과 예상 소요 일수, 기간이 8주를 넘는지 여부까지 답변.
2. 결제 플로우 단축 실험: 3단계를 2단계로 줄이는 변형을 설계하고, 1차 지표는 결제 완료율, 가드레일로 환불률·평균 주문금액을 감시하는 계획서 생성.
3. 다변량 테스트 설계: CTA 문구 2종 × 버튼 색상 2종 조합 매트릭스를 정의하고, 트래픽이 부족하면 변형 축소나 정성 조사 전환을 권고.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/indranilbanerjee/digital-marketing-pro/HEAD/skills/ab-test-plan/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 indranilbanerjee/digital-marketing-pro 의 skills/ab-test-plan 폴더를 내 ~/.claude/skills/ab-test-plan/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.