AI Skill MartKhám phá skillLệnhChương trìnhHọcSkill là gì?
 
← Về danh sách

Thêm Runner Eval

Skill nội bộ hướng dẫn thêm/mở rộng case, roster, assertion và report fixture cho đánh giá giao thức Paperclip Runner kèm provenance và validate hẹp.

Lập trìnhNâng cao★ 108,978⑂ 18,043Điểm AI 6/10Cập nhật lần cuối: 30 thg 10, 2026

Làm được gì

Chuẩn hóa quy trình thêm case cho họ Runner Evals của Paperclip — phiên Runner/provider thật chạy trên control plane mô phỏng đã seed.

  • Quy tắc tìm checkout: PAPERCLIP_ROOT, git rev-parse --show-toplevel, PAPERCLIP_EVALS_ROOT
  • Vị trí file: cases/, fixtures/, configs/, rosters/, và campaigns/live-direct-full.json
  • Bốn lệnh validate chạy được mà không cần gọi provider
  • Ranh giới công bố: chỉ hội thoại fixture đã làm sạch và kết quả tool trong allowlist; cấm lộ credential, secret, payload gốc, lý luận ẩn

Phù hợp với ai

  • Kỹ sư nội bộ làm việc trên repo paperclip cùng repo anh em paperclip-evals
  • Người bảo trì grader và report fixture của Runner protocol
  • Không phù hợp với người dùng bên ngoài vì phụ thuộc hoàn toàn vào hai repo này

Ví dụ sử dụng

  1. Thêm case mới rồi chạy eval_program.py validate --case ... --config live-codex-pinned.json để kiểm tra offline.
  2. Đưa case vào rosters/live-mini.json và chạy run_live_roster.py validate trước khi xin chạy live.
  3. Tạo thêm case âm (thiếu/hỏng evidence) để chắc chắn grader fail-closed.

· · · Hướng dẫn cài đặt · · ·

Dùng thử ngay, không cần cài

Dán đoạn dưới vào Claude là dùng được skill này mà không cần cài đặt.

Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình:
https://raw.githubusercontent.com/paperclipai/paperclip/HEAD/.agents/skills/add-runner-eval/SKILL.md

Mình muốn: (viết việc bạn cần ở đây)

Nếu Claude không mở được liên kết, hãy mở liên kết và copy nội dung vào rồi dán.

↓ Thấy hữu ích thì tải ZIP bên dưới và cài. Sau đó skill tự chạy, không phải dán lại mỗi lần.

Cài vào ứng dụng Claude (không cần terminal)
  1. Tải tệp ZIP bằng nút bên dưới.
  2. Trong Claude, mở Settings → Capabilities và bật 'Code execution and file creation'. (chỉ một lần)
  3. Vào Customize → Skills → + → 'Upload a skill' rồi tải tệp ZIP lên.
↓ Tải ZIP
Cài vào Claude Code

Để Claude làm — dán câu dưới đây vào Claude Code

Hãy cài skill mình tìm thấy trên AI Skill Mart.
Copy thư mục .agents/skills/add-runner-eval từ repo GitHub paperclipai/paperclip vào ~/.claude/skills/add-runner-eval/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.

Cài bằng lệnh thủ công

git clone https://github.com/paperclipai/paperclip.git /tmp/paperclip && mkdir -p ~/.claude/skills/add-runner-eval && cp -r /tmp/paperclip/.agents/skills/add-runner-eval/* ~/.claude/skills/add-runner-eval/

⚠ Đây là skill do người khác tạo. Hãy kiểm tra repo gốc trước khi cài.

  1. Mở terminal.
  2. Clone repo: git clone https://github.com/paperclipai/paperclip.git
  3. Tạo thư mục skill: mkdir -p ~/.claude/skills/add-runner-eval
  4. Sao chép: cp -r paperclip/.agents/skills/add-runner-eval/* ~/.claude/skills/add-runner-eval/
  5. Để dùng thật, clone thêm repo paperclip-evals cạnh repo trên và đặt biến môi trường PAPERCLIP_ROOT, PAPERCLIP_EVALS_ROOT nếu cần.
  6. Khởi động lại Claude Code và yêu cầu "thêm một Runner eval case" để kích hoạt skill.
Xem mã nguồn trên GitHub ↗Giấy phép: MIT