Phân tích Dữ liệu Khám phá (EDA)

Skill này làm gì

Kiểm tra các tệp dữ liệu cục bộ đã được cấp phép trước khi mô hình hóa hay phân tích khẳng định.

• Hỗ trợ lõi tự động: hồ sơ/lược đồ CSV/TSV, kiểm toán thiếu dữ liệu / nhóm / phân tách, độ nhạy phân phối–ngoại lai–biến đổi, kiểm tra cấu trúc JSON ở chế độ nghiêm ngặt
• Hỗ trợ tùy chọn: NumPy (.npy/.npz), metadata HDF5, đọc luồng FASTA/FASTQ, metadata container PNG/JPEG/TIFF
• Quy tắc an toàn: không gọi mạng, không dùng pickle, dữ liệu gốc chỉ đọc, không in hàng thô/chuỗi/định danh (được token hóa), định dạng lạ thì dừng hẳn (fail-closed)
• Khung báo cáo: sinh mẫu Markdown để điền giả định, phân tích độ nhạy và giới hạn

Skill kèm một danh sách kiểm tra tư duy EDA: từ điển biến, đơn vị quan sát, cấu trúc lô/thiết bị, mã thiếu dữ liệu, ranh giới train/val/test — giúp tránh rò rỉ dữ liệu và kết luận nhân quả vội vàng.

Phù hợp với ai

• Nhà nghiên cứu xử lý dữ liệu thí nghiệm/lâm sàng cần khả năng tái lập và dấu vết kiểm toán
• Data scientist muốn phát hiện rò rỉ (trùng đối tượng giữa train/test) trước khi huấn luyện
• Người phân tích trong môi trường không được để lộ định danh hoặc metadata nhạy cảm
• Nhóm làm việc với nhiều định dạng khoa học và cần định tuyến công cụ phù hợp

Ví dụ sử dụng

1. Kiểm tra CSV lâm sàng: chạy missingness_leakage_audit.py với --entity-column subject_id --split-column split để phát hiện một đối tượng xuất hiện ở cả tập huấn luyện lẫn kiểm thử.
2. Xem xét phân phối biến đo: dùng distribution_sensitivity.py để so sánh trung bình/SD với trung vị/IQR/MAD và xem ảnh hưởng của ngoại lai, mà không sửa dữ liệu.
3. Đọc metadata ảnh hiển vi: image_inspector.py trên tệp OME-TIFF chỉ lấy page/series/axes/dtype, không giải mã pixel.

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục skills/exploratory-data-analysis từ repo GitHub K-Dense-AI/scientific-agent-skills vào ~/.claude/skills/exploratory-data-analysis/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.