Promptfoo LLM 평가 설정

무엇을 해주나

오픈소스 LLM 평가 도구인 Promptfoo를 사용해 프롬프트와 모델을 체계적으로 테스트하도록 도와줍니다.

• promptfooconfig.yaml 기본 골격 작성 (프롬프트, providers, tests, defaultTest)
• 테스트 케이스 YAML과 file:// 참조 경로 규칙 안내
• Python 커스텀 어서션(get_assert) 작성 — pass/score/reason/named_scores 반환
• llm-rubric(LLM-as-judge) 채점 기준 설계와 threshold 설정
• echo provider로 API 비용 없이 렌더링된 프롬프트 미리보기
• Few-shot 대화형 프롬프트 구성, 긴 텍스트(1만 자 이상) 평가 패턴
• 릴레이/프록시 API 사용 시 401 오류, maxConcurrency 위치 오류 등 자주 겪는 함정 해결

이런 분께 추천

• 프롬프트를 수정할 때마다 감으로 판단하지 않고 수치로 비교하고 싶은 개발자
• Claude / GPT 등 여러 모델의 출력 품질을 같은 테스트셋으로 비교하려는 팀
• 프롬프트 변경에 대한 회귀 테스트를 CI에 넣고 싶은 AI 제품 엔지니어
• 요약률, 길이 제약 같은 도메인 지표를 코드로 검증하고 싶은 사람

활용 예시

1. 모델 비교: "claude-sonnet과 gpt-4.1을 같은 20개 테스트 케이스로 비교하는 promptfooconfig.yaml 만들어줘" → providers 2개 + tests 파일 + 결과 출력 경로까지 구성.
2. 커스텀 지표: "요약 결과가 원문 대비 70~90% 줄었는지 검사하는 Python 어서션 짜줘" → HTML 태그 제거 후 압축률을 점수로 반환하는 metrics.py 생성.
3. 비용 없는 디버깅: "few-shot 변수가 제대로 들어가는지 API 호출 없이 확인하고 싶어" → echo provider용 preview 설정 파일을 만들어 렌더링 결과만 확인.

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 daymade/claude-code-skills 의 promptfoo-evaluation 폴더를 내 ~/.claude/skills/promptfoo-evaluation/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.