평가 스위트 부트스트랩 (evals-bootstrap)

무엇을 해주나

• 에이전트 로그·트랜스크립트를 읽어 실제로 발생한 실패를 최대 20건 수집하고, 4~8개의 행동 패턴으로 묶어 줍니다.
• 각 실패를 cases.yaml의 케이스로 변환합니다. input, 사람이 읽는 expect, 그리고 실제 테스트가 되는 check 규칙(trace has X, trace has X before Y, trace lacks X)을 만듭니다.
• trace 저장 구조(traces/<id>.json)가 없으면 로깅 연결부터 잡아 줍니다.
• 의존성이 거의 없는(pyyaml만) 러너 check_traces.py를 생성하고, 실패 시 non-zero로 종료해 CI 게이트로 쓸 수 있게 합니다.
• 마지막에 "매주 새 trace 확인 → 실패를 케이스로 추가 → 가장 큰 묶음 수정 → 재실행"의 운영 루프를 문서로 남깁니다.

이런 분께 추천

• LLM 에이전트나 툴 호출 워크플로를 운영하며 프롬프트/모델 교체 후 회귀가 두려운 개발자
• 아직 평가 체계가 없어 "골든 셋"을 처음 만들어야 하는 팀
• LLM 심판(judge) 대신 빠르고 결정적인 어설션 테스트를 원하는 분

활용 예시

1. "프롬프트를 바꿨는데 안 깨졌는지 확인하고 싶어" → 기존 트랜스크립트에서 실패를 캐내 회귀 스위트 생성.
2. 환불 에이전트가 주문 조회 없이 답변한 사고 → trace has get_order before send_reply 케이스 추가.
3. 승인 없이 환불을 실행한 사고 → trace has approval_request before refund 규칙으로 고정하고 python check_traces.py를 CI에 연결.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/undefined-ui/second-brain-os/HEAD/plugins/agents-course/skills/evals-bootstrap/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 undefined-ui/second-brain-os 의 plugins/agents-course/skills/evals-bootstrap 폴더를 내 ~/.claude/skills/evals-bootstrap/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.