Gate Check — Phân tích cắt giảm chi phí LLM

Kỹ năng này làm gì

• Đọc entry point và prompt của pipeline để liệt kê mọi quyết định có nhãn cố định: phân loại, định tuyến, lọc, triage có/không, ưu tiên, nhận diện ngôn ngữ.
• Ước lượng chi phí hiện tại của từng quyết định (số lần gọi/ngày, token mỗi lần, thiệt hại khi trả lời sai) để lộ ra chỗ đang dùng model frontier cho câu hỏi chỉ đáng một bit.
• Đề xuất gate rẻ nhất có thể đảm nhận, theo thứ tự tăng dần chi phí: rule (regex, allowlist) → classifier cổ điển (logistic regression trên vài trăm mẫu đã gán nhãn) → model nhỏ khi đầu vào quá đa dạng.
• Bắt buộc mỗi gate có ngưỡng confidence và đường fail-closed: không chắc thì leo thang lên model lớn hoặc con người, tuyệt đối không đoán.
• Nếu bạn đồng ý, sinh bộ scaffold: label.py lấy mẫu ~200 ví dụ thật để gán nhãn tay, và baseline.py huấn luyện classifier cổ điển rồi in độ chính xác trên tập held-out — mọi lời quảng cáo của vendor phải vượt con số này.
• Xuất báo cáo theo mẫu, sắp xếp theo mức tiết kiệm, và nói thẳng khi một quyết định thật sự cần model lớn.

Phù hợp với ai

• Người vận hành agent/pipeline đang đau đầu vì hóa đơn API hoặc độ trễ.
• Backend / ML engineer muốn dọn lại kiến trúc "cái gì cũng đẩy cho model lớn".
• Nhóm muốn thêm lớp triage / routing / filter phía trước agent.

Ví dụ sử dụng

1. "Pipeline xử lý ticket của bọn mình tốn quá, tìm chỗ nào không cần model lớn" → phát hiện lọc spam, nhận diện ngôn ngữ, gán queue và hạ xuống rule + classifier.
2. "Mình muốn thêm lớp triage trước agent" → thiết kế tập nhãn, ngưỡng confidence và đường leo thang khi không chắc.
3. "Vendor nói model nhỏ của họ đạt 90%, có tin được không?" → dựng baseline trên dữ liệu của bạn bằng label.py và baseline.py để so sánh công bằng.

Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình:
https://raw.githubusercontent.com/undefined-ui/second-brain-os/HEAD/plugins/agents-course/skills/gate-check/SKILL.md

Mình muốn: (viết việc bạn cần ở đây)

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục plugins/agents-course/skills/gate-check từ repo GitHub undefined-ui/second-brain-os vào ~/.claude/skills/gate-check/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.