Vaex 대용량 데이터 분석

무엇을 해주나

• 메모리에 올라가지 않는 CSV/HDF5/Arrow/Parquet 파일을 Vaex로 열고 다루는 방법을 안내합니다.
• 가상 컬럼, 지연 평가(delay=True), groupby 집계 등 메모리 효율적인 처리 패턴을 코드로 제시합니다.
• 히트맵·히스토그램 등 대용량 데이터 시각화와 scikit-learn/XGBoost 연계 ML 파이프라인 구성까지 다룹니다.
• 주제별 참조 문서(core_dataframes, data_processing, performance, visualization, machine_learning, io_operations)를 상황에 맞게 불러 사용합니다.
• polars/dask와의 선택 기준을 알려주어 도구 오용을 줄여줍니다.

이런 분께 추천

• 수 GB~TB 규모 로그, 금융 시계열, 천문/과학 데이터를 단일 머신에서 분석해야 하는 데이터 분석가·엔지니어
• pandas가 메모리 부족으로 죽는 상황을 자주 겪는 분
• 대용량 데이터로 전처리·특성 공학·모델 학습 파이프라인을 만들어야 하는 ML 실무자

활용 예시

1. 50GB CSV를 HDF5로 변환한 뒤 즉시 로드해 describe()로 분포를 확인.
2. 10억 행 데이터에서 delay=True로 평균·표준편차·합계를 한 번에 배치 계산.
3. 좌표 컬럼으로 df.viz.heatmap(...)을 그려 대규모 포인트 분포를 시각화하고, 이어서 vaex-ml로 스케일링·PCA·K-means 파이프라인 구성.

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/K-Dense-AI/scientific-agent-skills/HEAD/skills/vaex/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 K-Dense-AI/scientific-agent-skills 의 skills/vaex 폴더를 내 ~/.claude/skills/vaex/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.