Thiết kế Observability cho AI Agent

Kỹ năng này làm gì

Hướng dẫn xây dựng toàn bộ hệ thống quan sát (observability) cho luồng làm việc của AI agent.

• Nguyên tắc: mỗi lượt yêu cầu người dùng = một trace; tạo span cho model call, retrieval, tool, handoff, phê duyệt, retry
• Sinh schema trace/event kèm identifier, thuộc tính và quy tắc che dữ liệu (redaction)
• Định nghĩa SLI: tỷ lệ thành công, latency p95, tỷ lệ lỗi tool, chi phí trên mỗi task hoàn thành
• Đặc tả dashboard, alert, kế hoạch sampling/retention/quyền truy cập/chi phí và runbook điều tra sự cố
• Chạy python3 scripts/summarize_traces.py spans.jsonl để kiểm tra cấu trúc span (thiếu parent, số root, vòng lặp) và phát hiện field nghi chứa secret/PII

Mặc định là telemetry không chứa nội dung; chỉ ghi prompt/response khi có phê duyệt rõ ràng, có che dữ liệu và giới hạn lưu trữ.

Dành cho ai

• Kỹ sư backend/platform đưa LLM agent lên production
• Nhóm đang bí trong việc truy nguyên lỗi tool thất thường hoặc chi phí tăng vọt
• SRE, on-call, hoặc người phụ trách audit cần chuẩn hóa SLO và bằng chứng

Ví dụ sử dụng

1. "Agent nghiên cứu chậm hơn sau bản release" → so sánh trace theo tag phiên bản, bóc p95 theo span retrieval/model/browser tool, kiểm tra retry và queue delay để chỉ ra khâu gây hồi quy
2. Gắn telemetry lần đầu cho agent nhiều tool → nhận ngay taxonomy span, chuẩn thuộc tính, quy tắc redaction và bản nháp dashboard
3. Kiểm tra file spans.jsonl bằng script để phát hiện parent bị thiếu, vòng lặp và các đường dẫn field nghi lộ thông tin nhạy cảm

Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình:
https://raw.githubusercontent.com/seb1n/awesome-ai-agent-skills/HEAD/agent-engineering/agent-observability/SKILL.md

Mình muốn: (viết việc bạn cần ở đây)

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục agent-engineering/agent-observability từ repo GitHub seb1n/awesome-ai-agent-skills vào ~/.claude/skills/agent-observability/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.