A/B 테스트 설계 플래너

무엇을 해주나

• 가설 구조화: "만약 [변경]을 하면, [지표]가 [방향·크기]로 변할 것이다. 왜냐하면 [근거]" 형식으로 가설을 정리합니다.
• 표본 크기 계산: sample-size-calculator.py를 실행해 유의수준 95%, 검정력 80% 기준의 변형당 필요 방문자 수를 산출합니다. 특히 MDE(최소 검출 효과)가 절대값인지 상대값인지 반드시 확인하게 하여, 5% 기준선에서 약 200배까지 벌어지는 표본 크기 오류를 막아 줍니다.
• 기간 산정과 실현 가능성 점검: 일일 트래픽을 바탕으로 소요 일수를 계산하고, 최소 7일(요일 효과 반영)·최대 8주 기준을 넘으면 경고합니다.
• 모니터링 및 중단 규칙: SRM(표본 비율 불일치), 가드레일 지표 악화, 구현 버그 등 조기 중단 조건과 승/패/무결론 각각의 후속 조치를 정의합니다.
• 사전 등록 문서화: 사후 합리화를 막기 위해 런칭 전 계획을 기록하고, 테스트 종료 후에는 significance-tester.py로 결과를 검정합니다.

이런 분께 추천

• 랜딩페이지·결제 플로우·CTA를 개선하는 그로스/CRO 담당자
• "변형당 방문자가 몇 명 필요하죠?"라는 질문에 자주 부딪히는 마케터
• 감으로 테스트를 끝내지 않고 통계적 기준으로 판정하고 싶은 PM·제품 디자이너
• 이메일 제목줄, 가격 페이지 레이아웃 등 다변량 테스트까지 설계해야 하는 팀

활용 예시

1. 랜딩 헤드라인 테스트: 현재 전환율 5%, 하루 방문자 2,000명 → 절대 +1%p를 잡으려면 변형당 몇 명이 필요하고 며칠 걸리는지 계산하고 중단 규칙까지 문서화.
2. 결제 폼 단순화: 1차 지표는 결제 완료율, 가드레일로 이탈률·평균 주문금액을 지정해 매출이 깎이면 조기 중단하도록 설계.
3. 트래픽 부족 진단: 하루 방문자 150명인 페이지에서 필요한 기간이 12주로 나오면, 변형 수 축소·MDE 상향·정성 조사 전환 같은 대안을 제시.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/indranilbanerjee/digital-marketing-pro/HEAD/skills/ab-test-plan/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

AI 스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 indranilbanerjee/digital-marketing-pro 의 skills/ab-test-plan 폴더를 내 ~/.claude/skills/ab-test-plan/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.