Đánh giá LLM với Promptfoo

Skill này làm gì

Hướng dẫn cấu hình và chạy Promptfoo — công cụ CLI mã nguồn mở để kiểm thử và so sánh đầu ra của các LLM.

• Tạo promptfooconfig.yaml chuẩn: prompts, providers, tests, defaultTest, outputPath
• Viết test case YAML và hiểu quy tắc đường dẫn file:// (luôn tính từ vị trí file config)
• Viết assertion Python tùy chỉnh trả về pass, score, reason, named_scores
• Dùng llm-rubric để LLM chấm điểm chất lượng theo tiêu chí và ngưỡng threshold
• Dùng echo provider để xem trước prompt đã render mà không tốn token
• Mẫu few-shot dạng hội thoại nhiều lượt và cách xử lý văn bản dài (10k+ ký tự)
• Khắc phục lỗi hay gặp: 401 khi dùng relay API, maxConcurrency đặt sai chỗ, output bị cắt

Phù hợp với ai

• Lập trình viên muốn đo lường thay vì "đoán" khi chỉnh sửa prompt
• Đội ngũ cần so sánh Claude, GPT... trên cùng một bộ test
• Kỹ sư AI muốn đưa kiểm thử hồi quy prompt vào pipeline CI
• Người cần chỉ số riêng theo nghiệp vụ (tỉ lệ rút gọn, độ dài, định dạng)

Ví dụ sử dụng

1. So sánh model: "Tạo config so sánh claude-sonnet và gpt-4.1 trên 20 test case" → sinh file config đầy đủ providers, tests và outputPath.
2. Chỉ số riêng: "Viết assertion Python kiểm tra bản tóm tắt rút gọn 70–90% so với bản gốc" → tạo metrics.py loại bỏ thẻ HTML rồi tính tỉ lệ rút gọn.
3. Debug miễn phí: "Kiểm tra biến few-shot đã nạp đúng chưa mà không gọi API" → tạo config preview dùng echo provider để xem prompt đã render.

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục promptfoo-evaluation từ repo GitHub daymade/claude-code-skills vào ~/.claude/skills/promptfoo-evaluation/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.