AI 데이터 엔지니어링 (RAG·피처스토어 파이프라인)

무엇을 해주나

• RAG 5단계 아키텍처(수집 → 인덱싱 → 검색 → 생성 → 평가)를 기준으로 파이프라인 설계를 잡아줍니다.
• 청킹 전략의 기본값(512 토큰 / 50~100 토큰 오버랩)과 코드·시맨틱 청킹 대안 코드를 제시합니다.
• 임베딩 모델 선택 가이드(프로덕션은 Voyage voyage-3, 개발은 OpenAI text-embedding-3-small)와 실제 초기화 코드를 제공합니다.
• RAGAS 평가 지표 4종(Faithfulness, Answer Relevancy, Context Precision/Recall)과 합격 기준선을 표로 제공하고, 평가 스크립트 실행법을 안내합니다.
• 피처 스토어(Feast), 오케스트레이션(Dagster/Prefect/Airflow/dbt), 데이터 버전관리(LakeFS) 패턴과 FastAPI 스트리밍 연동 예제를 포함합니다.

이런 분께 추천

• 사내 문서 검색 챗봇이나 시맨틱 검색을 실제 서비스로 올려야 하는 백엔드/ML 엔지니어
• RAG를 만들었지만 검색 품질이 나빠 청킹·임베딩·재랭킹을 튜닝해야 하는 팀
• 임베딩 생성·피처 서빙을 배치가 아닌 오케스트레이션 자산(asset)으로 관리하고 싶은 데이터 엔지니어
• Python + LangChain 생태계에 이미 익숙한 중급 이상 개발자

활용 예시

1. "PDF 매뉴얼 500건으로 RAG 챗봇을 만들어줘" → Qdrant 컬렉션 생성, 512토큰 청킹, voyage-3 임베딩, 스트리밍 API까지 한 흐름으로 구성.
2. "우리 RAG 답변이 자꾸 지어내는데 원인 찾아줘" → RAGAS Faithfulness/Context Precision을 측정하고 0.8/0.6 기준 미달 항목에 맞춰 청크 크기·k값을 조정.
3. "임베딩 갱신을 매일 자동화하고 싶어" → Dagster asset 3단계(raw_documents → chunked_documents → embedded_documents)로 파이프라인을 작성.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/ancoleman/ai-design-components/HEAD/skills/ai-data-engineering/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 ancoleman/ai-design-components 의 skills/ai-data-engineering 폴더를 내 ~/.claude/skills/ai-data-engineering/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.