Promptfoo LLM 평가 설정 도우미

무엇을 해주나

• promptfooconfig.yaml 기본 골격(프롬프트, providers, tests, defaultTest, outputPath)을 바로 쓸 수 있는 형태로 생성해 줍니다.
• Python 커스텀 어서션(get_assert, 명명 함수), llm-rubric 기반 LLM-as-judge, contains/regex/latency 등 어서션 타입 사용법을 정리합니다.
• few-shot 예시를 chat.json 멀티턴 형식으로 구성하는 패턴과, API 호출 없이 렌더링만 확인하는 echo provider 프리뷰 방법을 안내합니다.
• 릴레이/프록시 API 사용 시 apiBaseUrl 위치, maxConcurrency가 commandLineOptions 아래에 있어야 하는 이유, grader 401 오류 원인 등 자주 걸리는 함정을 짚어 줍니다.

이런 분께 추천

• 프롬프트 품질을 눈대중이 아니라 회귀 테스트로 관리하고 싶은 AI 애플리케이션 개발자
• Claude·GPT 등 여러 모델의 출력 품질을 같은 테스트셋으로 비교하려는 분
• 사내 릴레이/게이트웨이를 통해 LLM API를 호출하며 promptfoo 설정에 애를 먹는 분

활용 예시

1. "promptfoo로 요약 프롬프트 평가 환경 만들어줘" → config, tests/cases.yaml, scripts/metrics.py 골격 생성
2. "출력 길이 축약률 70~90%를 통과 기준으로 하는 Python 어서션 작성해줘" → 태그 제거 후 축약률을 계산하는 check_length 구현
3. "llm-rubric이 401 나는데 왜?" → 각 rubric에 provider.config.apiBaseUrl을 개별 지정해야 한다는 진단

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/daymade/claude-code-skills/HEAD/promptfoo-evaluation/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 daymade/claude-code-skills 의 promptfoo-evaluation 폴더를 내 ~/.claude/skills/promptfoo-evaluation/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.