Claude Skill MartKhám phá skillCâu dùng ngayHọc qua videoDùng terminalSkill là gì?
 
← Về danh sách

Bộ chấm điểm bài báo tự động (Paper Autoraters)

Chấm điểm bản nháp bài báo khoa học bằng bốn thang đo LLM-as-judge của PaperOrchestra: Citation F1, chất lượng tổng quan tài liệu và so sánh song song.

Giáo dụcNâng cao★ 650⑂ 91Điểm AI 9/10Cập nhật lần cuối: 9 thg 8, 2026

Làm được gì

Tái hiện đúng bốn autorater trong PaperOrchestra (App. F.3):

  • Citation F1: phân loại tài liệu tham khảo thành P0 (bắt buộc trích) / P1 (nên trích), rồi tính Precision·Recall·F1 so với bài báo gốc bằng scripts/compute_f1.py.
  • Chất lượng tổng quan tài liệu: chấm 6 trục 0-100 chỉ cho phần Giới thiệu + Related Work, kèm các mức trần chống lạm phát điểm và bảng trừ điểm (thổi phồng tính mới -5 đến -15, thiếu công trình mới -5 đến -15...).
  • SxS toàn bài & SxS tổng quan tài liệu: so sánh hai bài báo, chạy hai lần với thứ tự đảo ngược để giảm thiên lệch vị trí, cho kết quả win/tie/loss.

Phù hợp với ai

  • Nhà nghiên cứu, kỹ sư đánh giá pipeline sinh bài báo tự động
  • Học viên cao học muốn kiểm tra độ chặt chẽ trích dẫn và mức phân tích phê phán trước khi submit
  • Nhóm cần so sánh khách quan hai phiên bản bản nháp hoặc đầu ra của hai mô hình

Ví dụ sử dụng

  1. "Chấm điểm bản nháp này theo benchmark" → nhận JSON điểm 6 trục kèm phần trừ điểm và tóm tắt.
  2. "Tính Citation F1 giữa bài tôi tạo và bài gốc" → phân vùng P0/P1 hai danh sách rồi xuất f1_report.json.
  3. "So sánh hai bài báo xem bài nào tốt hơn" → hai lượt SxS đảo thứ tự để kết luận thắng/hòa/thua.

· · · Hướng dẫn cài đặt · · ·

Dùng thử ngay, không cần cài

Dán đoạn dưới vào Claude là dùng được skill này mà không cần cài đặt.

Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình:
https://raw.githubusercontent.com/Ar9av/PaperOrchestra/HEAD/skills/paper-autoraters/SKILL.md

Mình muốn: (viết việc bạn cần ở đây)

Nếu Claude không mở được liên kết, hãy mở liên kết và copy nội dung vào rồi dán.

↓ Thấy hữu ích thì tải ZIP bên dưới và cài. Sau đó skill tự chạy, không phải dán lại mỗi lần.

Cài vào ứng dụng Claude (không cần terminal)
  1. Tải tệp ZIP bằng nút bên dưới.
  2. Trong Claude, mở Settings → Capabilities và bật 'Code execution and file creation'. (chỉ một lần)
  3. Vào Customize → Skills → + → 'Upload a skill' rồi tải tệp ZIP lên.
↓ Tải ZIP
Cài vào Claude Code

Để Claude làm — dán câu dưới đây vào Claude Code

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục skills/paper-autoraters từ repo GitHub Ar9av/PaperOrchestra vào ~/.claude/skills/paper-autoraters/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.

Cài bằng lệnh thủ công

git clone https://github.com/Ar9av/PaperOrchestra.git && mkdir -p ~/.claude/skills && cp -r PaperOrchestra/skills/paper-autoraters ~/.claude/skills/

⚠ Đây là skill do người khác tạo. Hãy kiểm tra repo gốc trước khi cài.

  1. Mở Terminal.
  2. Tải mã nguồn: git clone https://github.com/Ar9av/PaperOrchestra.git
  3. Tạo thư mục skill: mkdir -p ~/.claude/skills
  4. Sao chép skill: cp -r PaperOrchestra/skills/paper-autoraters ~/.claude/skills/
  5. Kiểm tra thư mục references/ và tệp scripts/compute_f1.py đã có mặt.
  6. Đảm bảo đã cài Python 3: python3 --version
  7. Khởi động lại Claude Code và yêu cầu: "chạy autoraters để đánh giá bản nháp này".
Xem mã nguồn trên GitHub ↗Giấy phép: NOASSERTION