에이전트 관측성 설계

무엇을 해주나

AI 에이전트 워크플로우에 텔레메트리를 심는 전 과정을 설계해 줍니다.

• 사용자 요청 1건 = 트레이스 1개 원칙으로 모델 호출, 검색(retrieval), 툴 실행, 핸드오프, 승인, 재시도 스팬 구조를 정의
• 식별자·속성·레드액션 규칙이 포함된 트레이스/이벤트 스키마 산출
• 태스크 성공률, p95 지연, 툴 실패율, 완료 태스크당 비용 등 서비스 지표(SLI) 정의
• 대시보드·알림 명세, 샘플링·보존·접근·비용 계획, 장애 조사 런북 작성
• python3 scripts/summarize_traces.py spans.jsonl로 스팬 구조 무결성(고아 부모, 루트 개수, 순환) 및 민감 필드 점검

기본값은 '콘텐츠 없는 텔레메트리'이며, 프롬프트·응답 원문 저장은 명시적 승인·마스킹·보존 제한이 있을 때만 허용합니다.

이런 분께 추천

• LLM 에이전트를 프로덕션에 올리는 백엔드/플랫폼 엔지니어
• 간헐적 툴 오류나 비용 급증 원인을 못 찾고 있는 팀
• SLO/온콜 알림 체계와 감사 증거를 정비해야 하는 SRE·보안 담당자

활용 예시

1. "릴리스 이후 리서치 에이전트가 느려졌다" → 버전 태그별 p95 지연을 검색·모델·브라우저 툴 스팬으로 분해하고 재시도·큐 대기를 확인해 원인 단계와 영향 코호트를 보고
2. 신규 멀티툴 에이전트에 계측을 처음 도입 → 스팬 분류 체계와 속성 표준, 마스킹 규칙, 대시보드 초안을 한 번에 설계
3. 수집한 spans.jsonl을 스크립트로 검사해 부모 누락·순환 여부와 비밀값·개인정보 의심 필드 경로를 사전 차단

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/seb1n/awesome-ai-agent-skills/HEAD/agent-engineering/agent-observability/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 seb1n/awesome-ai-agent-skills 의 agent-engineering/agent-observability 폴더를 내 ~/.claude/skills/agent-observability/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.