데이터셋 큐레이션 방법론

무엇을 해주나

• 분포 분석: 클래스별 개수, 불균형 비율(max/min), 극소수 클래스(최대 클래스의 5% 미만) 탐지, 동시출현(co-occurrence) 행렬 작성
• 편향 진단: 허위 상관(예: 특정 라벨이 항상 특정 속성과 함께 등장) 식별, 인구통계 패리티·균등 기회(equalized odds)·대표성 비율 등 공정성 지표 점검
• 층화 분할 설계: 라벨 1차 층화 + 출처 2차 층화(소스 누수 방지), 카이제곱 검정으로 분할 간 분포 유사성 검증, 데이터 규모별 권장 비율 제시
• 품질 평가: Cohen's kappa, Fleiss' kappa, Krippendorff's alpha 등 어노테이터 일치도와 라벨 노이즈 추정
• 확장·윤리: 우선 수집 클래스, 수집 전략(액티브 러닝/합성 증강), 동의·프라이버시·라이선스·오용 가능성 체크리스트

이런 분께 추천

• 학습 데이터셋을 직접 만들거나 정제하는 ML 엔지니어·연구자
• 모델 공정성 리포트나 데이터 카드(datasheet)를 작성해야 하는 분
• 논문·공개 데이터셋 배포 전 윤리 검토가 필요한 분

활용 예시

1. "우리 라벨 데이터의 클래스 불균형을 분석해줘" → 클래스별 개수 표, 불균형 비율, 과소대표 클래스 목록을 리포트로 산출
2. "출처 누수 없이 train/val/test를 나눠줘" → 라벨+출처 이중 층화 전략과 분할 검증(카이제곱, 소스 중복 0) 결과 제안
3. "데이터셋 공개 전 윤리 검토를 해줘" → 민감 콘텐츠·동의·익명화·라이선스 항목별 체크리스트와 메모 작성

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/fcakyon/labrat/HEAD/plugin/skills/dataset-curation/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

AI 스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 fcakyon/labrat 의 plugin/skills/dataset-curation 폴더를 내 ~/.claude/skills/fcakyon-dataset-curation/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.