Vaex 대용량 데이터 분석

무엇을 해주나

메모리에 올라가지 않는 대용량 표 형식 데이터(CSV, HDF5, Arrow, Parquet)를 Vaex의 out-of-core DataFrame으로 다루는 방법을 Claude가 알고 있게 만듭니다.

• 지연 평가(lazy evaluation)와 가상 컬럼으로 메모리 사용 없이 파생 변수 생성
• groupby/agg, delay=True 배치 실행 등 초고속 통계 집계
• 수억 행 데이터의 히트맵·히스토그램 시각화(df.viz)
• vaex-ml 기반 스케일링·인코딩·PCA·K-means, scikit-learn/XGBoost 연동
• CSV → HDF5/Arrow 변환 등 포맷 최적화 I/O 전략
• 주제별 참조 문서 6종(core_dataframes, data_processing, performance, visualization, machine_learning, io_operations)을 상황에 맞게 불러 사용

이런 분께 추천

• 수 GB~TB급 로그·거래·센서 데이터를 단일 머신에서 분석해야 하는 데이터 분석가
• pandas가 메모리 부족으로 죽는 상황을 반복적으로 겪는 파이썬 사용자
• 천문·금융 시계열 등 대규모 과학 데이터를 다루는 연구자
• 클러스터(Dask/Spark)를 세팅하기 전 로컬에서 최대한 밀어보고 싶은 엔지니어

활용 예시

1. "30GB 거래 로그 CSV를 HDF5로 변환하고, 카테고리별 매출 합계를 구해줘" → vaex.open + export_hdf5 + groupby().agg() 코드를 생성
2. "1억 행 위경도 데이터를 히트맵으로 그려줘" → df.viz.heatmap(df.lon, df.lat, limits='99.7%') 기반 시각화 스크립트 작성
3. "메모리에 안 들어가는 학습 데이터로 전처리 파이프라인과 XGBoost 모델을 만들어줘" → vaex-ml 트랜스포머 + 모델 학습·직렬화 파이프라인 구성

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 K-Dense-AI/scientific-agent-skills 의 skills/vaex 폴더를 내 ~/.claude/skills/vaex/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.