클로드스킬마트스킬 둘러보기스킬이 뭐예요?
 
← 목록으로

A/B 테스트 설계 도우미

가설 수립부터 표본 크기 계산, 결과 해석까지 통계적으로 유효한 A/B 테스트를 설계해 주는 스킬입니다.

마케팅·SEO중급★ 24,151⑂ 3,405AI 점수 8/10마지막 업데이트: 2026. 8. 9.

무엇을 해주나

실험을 "일단 해보자" 수준에서 벗어나 통계적으로 신뢰할 수 있는 형태로 설계하도록 도와줍니다.

  • 가설 프레임워크: "~라는 데이터가 있으므로, ~를 바꾸면, ~한 결과가 날 것이다" 형식으로 명확한 가설 문장을 만들어 줍니다.
  • 표본 크기 계산: 번들된 sample_size_calculator.py(2비율 z-검정, α=0.05, 검정력 80%)로 변형당 필요한 표본 수와 예상 테스트 기간을 산출합니다.
  • 지표 설계: 주요 지표 / 보조 지표 / 가드레일 지표를 구분해 정의합니다.
  • 실행 관리: 사전 QA 체크리스트, 트래픽 배분(50/50, 90/10, 램핑) 전략, "조기 중단(peeking) 금지" 원칙을 안내합니다.
  • 결과 분석: 유의성, 효과 크기, 세그먼트 차이를 순서대로 점검하는 체크리스트와 판단 표를 제공합니다.
  • 산출물: 실험 브리프, QA 체크리스트, 결과 리포트, 테스트 백로그를 마크다운으로 만들어 줍니다.

이런 분께 추천

  • 랜딩페이지·가격페이지 전환율을 개선하려는 그로스/마케터
  • 실험을 돌리긴 하는데 유의성 판단이 늘 애매했던 PM
  • CRO 실험 백로그를 체계적으로 관리하고 싶은 팀
  • PostHog, Optimizely, VWO, LaunchDarkly 등을 쓰는 실무자

활용 예시

  1. 가격 페이지 테스트: "가격 페이지 전환율이 3%인데 월 방문 6만입니다. 연간 결제 강조 배너를 테스트하고 싶어요" → 가설 문장, 필요한 표본 수(약 1.4만/변형), 예상 기간, 가드레일 지표(환불률·문의 수)까지 담긴 실험 브리프를 받습니다.
  2. CTA 문구 논쟁 정리: 팀 내에서 "무료로 시작하기" vs "14일 체험하기"로 의견이 갈릴 때, 의견 대신 A/B 테스트 설계안과 QA 체크리스트를 뽑아 줍니다.
  3. 결과 해석: "7일 돌렸더니 변형이 12% 높은데 p=0.09예요" → 표본 미달 여부, 조기 중단 위험, 추가로 필요한 기간을 계산해 판단을 도와줍니다.

· · · 설치 가이드 · · ·

Claude 앱에 설치 (터미널 필요 없음)
  1. 아래 버튼으로 ZIP 파일을 받으세요.
  2. Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
  3. Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
↓ ZIP 내려받기
Claude Code에 설치

Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 alirezarezvani/claude-skills 의 .gemini/skills/ab-test-setup 폴더를 내 ~/.claude/skills/ab-test-setup/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.

직접 명령으로 설치하기

git clone https://github.com/alirezarezvani/claude-skills.git /tmp/claude-skills && mkdir -p ~/.claude/skills && cp -r /tmp/claude-skills/.gemini/skills/ab-test-setup ~/.claude/skills/

⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.

  1. 터미널을 엽니다 (macOS는 터미널, Windows는 Git Bash 또는 WSL).
  2. 스킬 폴더가 없다면 만듭니다: mkdir -p ~/.claude/skills
  3. 저장소를 임시 폴더에 내려받습니다: git clone https://github.com/alirezarezvani/claude-skills.git /tmp/claude-skills
  4. 스킬 폴더 전체를 복사합니다 (scripts/, references/ 포함): cp -r /tmp/claude-skills/.gemini/skills/ab-test-setup ~/.claude/skills/
  5. 파이썬3가 설치돼 있는지 확인합니다: python3 --version (없으면 python.org 또는 brew install python3).
  6. Claude Code를 다시 실행한 뒤 "랜딩페이지 A/B 테스트를 설계해줘"처럼 요청하면 스킬이 자동으로 작동합니다.
  7. 표본 수 계산이 필요하면 스킬이 python3 scripts/sample_size_calculator.py --baseline 0.05 --mde 0.20 형태로 실행합니다. 오류가 나면 4단계에서 폴더 전체를 복사했는지 확인하세요.
GitHub에서 원본 보기 ↗라이선스: MIT