Codex 패널 A/B 실험
같은 브랜치 diff에서 통합 codex 리뷰 1회와 보안·Ecto·LiveView 집중 리뷰 3회를 비교해 '집중 리뷰가 정말 놓친 버그를 잡는가'를 데이터로 판정하는 실험 스킬.
개발·코딩고급★ 522⑂ 36AI 점수 8/10마지막 업데이트: 2026. 8. 11.
무엇을 해주나
- 브랜치 diff 하나를 대상으로 통합
codex exec review1회 + 차원별 집중 리뷰 3회(security / ecto / liveview) 를 백그라운드 병렬 실행합니다. - 집중 리뷰가 낸 모든 발견을 DUPLICATE(중복) / REAL MISS(통합 리뷰가 놓친 진짜 문제) / FALSE POSITIVE(오탐) 로 분류합니다.
- REAL MISS는 반드시 해당 file:line 코드를 열어 실존을 확인한 뒤에만 인정합니다.
- 결과를 표로 정리해
.claude/reviews/codex-ab-{날짜}/VERDICT.md에 판정문으로 남깁니다. - '철칙(Iron Laws)'로 쿼터 낭비를 막습니다: 리뷰 이력이 없는 신선한 diff에서만 실행, codex 실행은 정확히 4회, 거대한
.log스트림은 절대 컨텍스트에 넣지 않음.
이런 분께 추천
- Elixir/Phoenix 프로젝트에서 codex CLI 기반 코드리뷰 파이프라인을 운영·개선하려는 개발자
- "리뷰 프롬프트를 쪼개면 정말 더 좋아지나?"를 감이 아니라 측정으로 결정하고 싶은 팀
- AI 리뷰 비용(4배 쿼터) 대비 효용을 근거로 기록해두고 싶은 도구 관리자
활용 예시
- 새 기능 브랜치를 만들고 아직 아무 리뷰도 돌리지 않은 상태에서
/codex-ab실행 → 약 5분 후 4개 findings 파일과 분류 표 확보. /codex-ab develop로 기준 브랜치를 develop으로 지정해 릴리스 브랜치 diff를 비교.- LiveView 위주의 UI 변경 브랜치에서 liveview 집중 패스만 추가(2배 비용)해 재검증하고, 결과를 VERDICT.md에 누적해 패널 도입 여부를 최종 판단.
· · · 설치 가이드 · · ·
설치 없이 지금 한 번 써보기
아래를 Claude에 붙여넣으면 설치하지 않고도 이 스킬을 그대로 씁니다.
이 파일의 지시를 읽고 그대로 따라서 나를 도와줘: https://raw.githubusercontent.com/oliver-kriska/claude-elixir-phoenix/HEAD/.claude/skills/codex-ab/SKILL.md 내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)
Claude가 링크를 열지 못하면, 링크를 직접 열어 내용을 복사해 붙여넣으세요.
↓ 쓸 만하면 아래에서 ZIP을 받아 설치하세요. 그러면 매번 붙여넣지 않아도 알아서 작동합니다.
Claude 앱에 설치 (터미널 필요 없음)
- 아래 버튼으로 ZIP 파일을 받으세요.
- Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
- Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
Claude Code에 설치
Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요
클로드스킬마트에서 찾은 스킬을 설치해줘. GitHub 저장소 oliver-kriska/claude-elixir-phoenix 의 .claude/skills/codex-ab 폴더를 내 ~/.claude/skills/codex-ab/ 에 그대로 복사해줘. 설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.
직접 명령으로 설치하기
git clone https://github.com/oliver-kriska/claude-elixir-phoenix.git && mkdir -p ~/.claude/skills && cp -r claude-elixir-phoenix/.claude/skills/codex-ab ~/.claude/skills/⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.
- 터미널에서 저장소를 클론합니다:
git clone https://github.com/oliver-kriska/claude-elixir-phoenix.git - 스킬 디렉터리를 준비합니다:
mkdir -p ~/.claude/skills - 스킬 폴더를 복사합니다:
cp -r claude-elixir-phoenix/.claude/skills/codex-ab ~/.claude/skills/ - 동봉 스크립트에 실행 권한을 줍니다:
chmod +x ~/.claude/skills/codex-ab/scripts/codex-panel-ab.sh - codex CLI가 설치되어 있는지 확인합니다:
command -v codex(없으면 먼저 설치) - Elixir/Phoenix 프로젝트 루트에서 Claude Code를 실행한 뒤
/codex-ab또는/codex-ab develop을 입력합니다. - 반드시 아직 codex 리뷰를 돌리지 않은 새 브랜치에서 실행하세요. 이미 리뷰된 diff는 결과가 무의미합니다.
GitHub에서 원본 보기 ↗라이선스: MIT