AI 에이전트 평가 설계

무엇을 해주나

AI 에이전트를 "느낌"이 아니라 증거로 판단하도록 평가 체계를 설계해 줍니다.

• 평가 목적과 테스트 대상(모델 / 툴 / 검색 / 정책 / 인프라)을 분리해 정의
• 대표 케이스 + 경계·롱테일·잘못된 입력·툴 실패·프롬프트 인젝션 케이스로 데이터셋 구성, 홀드아웃 분리
• 결정적 체크 / 루브릭 기반 모델 채점 / 블라인드 사람 검수 중 가장 덜 주관적인 채점 방식 선택
• 프롬프트·모델 버전·시드·재시도·타임아웃을 고정해 베이스라인과 후보를 동일 조건에서 비교
• 실패 분류표, 불확실성, 릴리스 게이트(핵심 케이스 통과 + 비회귀 + 운영 한계)와 결정 메모 산출
• scripts/aggregate_results.py로 결과 JSONL의 점수 범위·누락 라벨·통과율 분모를 검증하고 요약 생성

이런 분께 추천

• LLM 에이전트/코파일럿을 실제 배포하며 배포 판단 근거가 필요한 엔지니어
• 프롬프트나 모델을 교체할 때 성능이 정말 좋아졌는지 확인하려는 팀
• 프로덕션 장애를 회귀 테스트 케이스로 자산화하려는 QA·플랫폼 담당자

활용 예시

• "고객지원 에이전트 v1과 v2 비교": 해결 정확도, 인용 충실도, 정책 준수, 에스컬레이션 판단, 지연, 비용 기준을 정의하고 버전 라벨을 가린 뒤 3회 반복 실행해 ship/hold/부분 롤아웃 결정
• "이번 프롬프트 변경이 회귀를 만들었는지 확인": 홀드아웃 세트로 베이스라인 대비 델타를 계산하고 케이스 카테고리별 슬라이스 분석
• "운영 중 발생한 오답 20건을 회귀 픽스처로 전환": 개인정보를 제거한 뒤 고정 케이스로 저장하고 릴리스 게이트에 편입

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/seb1n/awesome-ai-agent-skills/HEAD/agent-engineering/agent-evaluation/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 seb1n/awesome-ai-agent-skills 의 agent-engineering/agent-evaluation 폴더를 내 ~/.claude/skills/agent-evaluation/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.