LLM 평가 하네스

무엇을 해주나

base_url + model + 환경변수에 담긴 API 키만 주면, 벤더가 내세우는 홍보 숫자 대신 실제 측정값을 뽑아냅니다.

• 가용성: 어떤 모델 ID가 실제로 라우팅되는지 3단계 판정(no-channel / upstream-error / empty-content)으로 구분. 추론 모델이 max_tokens 때문에 '죽은 모델'로 오판되지 않게 기본 8192 유지.
• 요청 충실도: system 프롬프트·tools·멀티턴 히스토리가 게이트웨이에서 조용히 버려지는지 카나리 코드로 검증. 200 OK로 잘 대답하는데 system 프롬프트만 도달하지 않는, 가장 잡기 힘든 장애를 잡아냅니다.
• 속도: TTFT + 지속 디코드 tok/s. reasoning_content를 세지 않고 completion_tokens로 나눠서 750 tok/s를 4700 tok/s로 잘못 재는 함정을 회피.
• 동시성: 10/20/40/60 등으로 램프업해 성공률·p50/p90이 무너지는 지점을 찾음. 주변 프록시와 keep-alive를 차단해 모델 자체 한계를 측정.
• 프로토콜 준수: Anthropic thinking 블록의 생성 여부와, 이미 히스토리에 있는 thinking 블록을 재전송했을 때 400으로 거부하는지(에이전트 세션이 끊기는 원인)를 별도로 검사.
• 품질 회귀: 내 유스케이스 라이브러리로 답변을 수집한 뒤, 서로를 모르는 블라인드 심사 에이전트 3개가 독립 채점하고 다수결로 통과 판정.

키는 항상 --key-env 로 환경변수 이름만 넘겨 ps·셸 히스토리·리포트에 노출되지 않습니다.

이런 분께 추천

• 새 LLM 벤더나 게이트웨이(중계 채널)를 도입 전에 검증해야 하는 개발자·플랫폼 엔지니어
• 사내 AI 제품의 '지원 모델 목록'이나 배포 게이트를 관리하는 담당자
• "모델이 system 프롬프트를 무시한다", "쓰다 보면 400이 난다" 같은 원인 불명 증상을 디버깅해야 하는 사람
• 워크숍·시연 전에 동시 접속을 버티는지 확인하고 싶은 팀

활용 예시

1. 신규 채널 온보딩: "이 API 붙여도 되는지 먼저 보자" → 가용성 프로브로 유효한 모델 ID를 추리고, 충실도 프로브로 system/tools 전달률을 10회 샘플링해 확인.
2. tok/s 광고 검증: 벤더가 주장하는 처리량을 speed_probe.py --mode both로 실측해, 실제 태스크 처리량과 지속 디코드 상한을 나눠 보고.
3. 세션 끊김 디버깅: 확장 사고(thinking) 클라이언트에서 대화가 이어지지 않을 때 protocol_probe.py --check history-replay로 히스토리 재전송 거부를 재현하고, 증거 패키지 프로토콜에 따라 벤더에 버그 리포트 제출.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/daymade/claude-code-skills/HEAD/llm-eval-harness/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 daymade/claude-code-skills 의 llm-eval-harness 폴더를 내 ~/.claude/skills/llm-eval-harness/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.