논문 자동 채점기 (Paper Autoraters)

무엇을 해주나

PaperOrchestra 논문(App. F.3)에서 쓰인 네 개의 'LLM-as-judge' 자동 채점기를 그대로 재현합니다.

• Citation F1: 참고문헌을 P0(반드시 인용) / P1(있으면 좋은 인용)으로 분류한 뒤, 정답 논문과 비교해 Precision·Recall·F1을 계산합니다(scripts/compute_f1.py).
• 문헌고찰 품질(단일 논문): 서론+관련연구만을 대상으로 6개 축을 0~100점으로 채점하며, 점수 인플레이션을 막는 상한 규칙과 감점 표(과장된 신규성 -5~-15 등)를 적용합니다.
• SxS 논문 전체 품질 / SxS 문헌고찰 품질: 두 논문을 나란히 비교해 승자를 판정하고, 순서를 바꿔 두 번 실행해 위치 편향을 보정합니다.

이런 분께 추천

• 자동 논문 생성 파이프라인의 품질을 정량적으로 검증하려는 연구자·엔지니어
• 학회 제출 전 서론/관련연구의 인용 충실도와 비판적 논의 수준을 점검하고 싶은 대학원생
• 두 개의 초고 버전(또는 두 모델의 출력)을 공정하게 비교하려는 팀

활용 예시

1. "이 초고를 벤치마크 기준으로 채점해줘" → 6축 문헌고찰 점수 JSON과 감점 내역을 생성.
2. "내 생성 논문과 원본 논문의 인용 F1을 계산해줘" → 양쪽 참고문헌을 P0/P1로 분할하고 compute_f1.py로 F1 리포트 출력.
3. "v2 초고와 v3 초고 중 어느 쪽이 나은지 비교해줘" → 순서를 교체한 두 번의 SxS 판정으로 win/tie/loss 결정.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/Ar9av/PaperOrchestra/HEAD/skills/paper-autoraters/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 Ar9av/PaperOrchestra 의 skills/paper-autoraters 폴더를 내 ~/.claude/skills/paper-autoraters/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.