에이전트 평가 하네스

무엇을 해주나

• 합격 조건부터 정의합니다. "좋은 답변" 같은 모호한 목표 대신 JSON 스키마 유효성, 특정 수치 포함, 도구 호출 여부, 120단어 이하 등 검증 가능한 기준을 먼저 씁니다.
• 20개 내외의 최소 평가셋을 구성합니다. 정상 경로 40%, 엣지 케이스 30%, 적대적(프롬프트 인젝션 등) 20%, 과거 버그 회귀 10% 비율을 권장합니다.
• 3단계 채점을 안내합니다: 결정론적 검사(스키마·문자열·툴 호출) → 모델 심판(톤·충실도, 루브릭 + 한 줄 사유) → 사람 샘플 검수.
• 테스트처럼 실행합니다. 케이스당 3회 반복, 실제 배포 온도로 실행해 통과율과 편차를 함께 보고하고, 절대 점수가 아니라 베이스라인 대비 diff를 보여줍니다.
• 비용·지연시간(p50/p95)도 품질과 함께 추적하도록 규칙을 둡니다.

이런 분께 추천

• 프롬프트를 감으로 고치고 배포해서 불안한 AI 제품 개발자
• 모델 버전 업그레이드 전후 품질 변화를 확인해야 하는 팀
• 고객 앞에 챗봇·에이전트를 내보내기 직전인 스타트업
• LLM 기능의 회귀를 CI에 편입하고 싶은 엔지니어

활용 예시

1. 모델 교체 검증 — "새 모델로 바꾸려는데 기존 프롬프트가 깨지는지 확인해줘" → 기존 로그에서 20개 케이스를 뽑아 평가셋을 만들고 두 모델의 통과율 diff를 보고.
2. 인젝션 방어 점검 — "이전 지시를 무시하라" 류의 적대적 케이스를 넣어 시스템 프롬프트 유출 여부를 3회 실행으로 확인, 1회라도 새면 배포 차단 항목으로 표시.
3. 버그 고정 후 영구 회귀 케이스화 — 고객이 신고한 오답을 수정한 뒤 해당 입력을 회귀 그룹에 동결해 다시는 같은 문제가 재발하지 않도록 함.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/OneWave-AI/claude-skills/HEAD/agent-eval-harness/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 OneWave-AI/claude-skills 의 agent-eval-harness 폴더를 내 ~/.claude/skills/agent-eval-harness/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.