게이트 체크 — LLM 비용 절감 분석

무엇을 해주나

• 파이프라인의 진입점과 프롬프트를 읽어 경계가 명확한 결정(분류, 라우팅, 필터링, 예/아니오 판정, 우선순위, 언어 판별)을 전부 목록화합니다.
• 각 결정의 현재 비용(일일 호출 수, 호출당 토큰, 오답 비용)을 추정해 "1비트짜리 판단에 프런티어 모델 호출을 태우는" 낭비를 찾아냅니다.
• 가장 저렴한 순서(① 규칙/정규식/허용목록 → ② 로지스틱 회귀 같은 고전 분류기 → ③ 소형 모델)로 감당 가능한 게이트를 제안합니다.
• 모든 게이트에 confidence 임계값과 fail-closed 경로를 붙입니다. 확신이 없으면 추측하지 말고 큰 모델이나 사람에게 에스컬레이션합니다.
• 원하면 label.py(실제 예시 약 200건 샘플링 후 수작업 라벨링)와 baseline.py(고전 분류기 학습 + 홀드아웃 정확도 출력) 스캐폴드를 만들어 줍니다. 이 베이스라인 수치를 넘지 못하는 벤더 주장·소형 모델은 채택하지 않는다는 기준을 세웁니다.
• 절감액 순으로 정렬한 표 형태 리포트를 출력하며, 진짜 큰 모델이 필요한 결정은 건드리지 말라고 명시합니다.

이런 분께 추천

• LLM API 비용이나 지연시간이 부담스러운 에이전트·파이프라인 운영자
• "일단 다 GPT/Claude에 넣는" 구조를 정리하고 싶은 백엔드·ML 엔지니어
• 에이전트 앞단에 트리아지/라우팅/필터 레이어를 도입하려는 팀

활용 예시

1. "우리 지원 티켓 파이프라인 비용이 너무 큰데, 큰 모델 안 써도 되는 단계 찾아줘" → 스팸 판별·언어 감지·큐 배정 3개 결정을 찾아 규칙 + 분류기로 내려보내는 계획 제시.
2. "에이전트 앞에 트리아지 레이어를 붙이고 싶다" → 라벨 세트 정의, 임계값, unsure 시 에스컬레이션 경로까지 설계.
3. "소형 모델 벤더가 90% 정확도라는데 믿을 만한가?" → label.py/baseline.py로 자체 데이터 베이스라인을 만들어 비교 기준을 세움.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/undefined-ui/second-brain-os/HEAD/plugins/agents-course/skills/gate-check/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 undefined-ui/second-brain-os 의 plugins/agents-course/skills/gate-check 폴더를 내 ~/.claude/skills/gate-check/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.