Bộ khung đánh giá LLM

Làm được gì

Chỉ cần base_url + tên model + API key nằm trong biến môi trường, skill sẽ đo số thật thay vì tin số quảng cáo của nhà cung cấp.

• Khả dụng: model ID nào thực sự có route, phân loại lỗi 3 trạng thái (no-channel / upstream-error / empty-content), giữ max_tokens 8192 để model reasoning không bị coi là "chết".
• Độ trung thực request: cắm mã canary để kiểm tra system prompt / tools / history có thật sự tới model hay bị gateway âm thầm bỏ. Đây là lỗi khó bắt nhất: vẫn trả 200 và chat trôi chảy nhưng system prompt không bao giờ đến.
• Tốc độ: TTFT + tok/s giải mã bền vững, có tính cả reasoning_content để tránh bẫy đo 750 tok/s thành 4700 tok/s.
• Đồng thời: tăng dần 10/20/40/60 để tìm điểm sụp (tỉ lệ thành công, p50/p90), tắt proxy môi trường và keep-alive để đo đúng model.
• Tuân thủ protocol: kiểm tra riêng hai đường code của Anthropic thinking — sinh block khi được yêu cầu, và có chấp nhận block thinking cũ khi replay history (nguyên nhân lỗi 400 làm đứt session của client agentic).
• Hồi quy chất lượng: chạy bộ use-case của bạn rồi cho 3 agent chấm mù độc lập, chỉ tính đạt khi đa số đồng thuận, đồng thời tính precision theo từng nhóm tag.

Key luôn truyền qua --key-env (tên biến môi trường), không bao giờ lộ trong ps, history shell hay báo cáo.

Dành cho ai

• Dev / platform engineer cần thẩm định nhà cung cấp hoặc gateway LLM trước khi tích hợp
• Người phụ trách danh sách "model được hỗ trợ", cổng kiểm tra khi triển khai, hoặc canary thường trú
• Ai đang debug các triệu chứng mơ hồ: "model phớt lờ system prompt", "dùng một lúc thì báo 400"
• Nhóm cần biết endpoint chịu được bao nhiêu request song song trước buổi workshop/demo

Ví dụ sử dụng

1. Tích hợp kênh mới: chạy availability probe để lọc model ID hợp lệ, rồi fidelity probe với --repeat 10 xem tỉ lệ system prompt được chuyển tới model.
2. Kiểm chứng tok/s quảng cáo: speed_probe.py --mode both để báo cáo riêng throughput tác vụ thật và trần giải mã bền vững.
3. Truy vết đứt session: dùng protocol_probe.py --check history-replay để tái hiện lỗi 400 "invalid part type: thinking", sau đó lập gói bằng chứng gửi nhà cung cấp theo tài liệu kèm theo.

Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình:
https://raw.githubusercontent.com/daymade/claude-code-skills/HEAD/llm-eval-harness/SKILL.md

Mình muốn: (viết việc bạn cần ở đây)

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục llm-eval-harness từ repo GitHub daymade/claude-code-skills vào ~/.claude/skills/llm-eval-harness/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.