Debug: chẩn đoán lỗi ML dựa trên bằng chứng

Làm được gì

Ngăn Claude đoán bừa kiểu "có lẽ do batch size" rồi vá lỗi che mất vấn đề thật. Thay vào đó, skill áp đặt quy trình 5 bước:

1. Thăm dò rẻ: ps aux xem tiến trình còn sống/zombie, dmesg và journalctl tìm oom-kill, lỗi phần cứng, lỗi NFS, nvidia-smi xem GPU có thực sự chạy, df -h/du -sh xem dung lượng, đọc vài trăm dòng log cuối, kiểm tra thời điểm và kích thước checkpoint.
2. Nêu giả thuyết và ghi rõ đó là giả thuyết, kèm các khả năng chưa loại trừ.
3. Smoke run: batch_size=1 một step, dataset tổng hợp trong RAM, lr=0, chạy 1 GPU… mỗi cách kiểm chứng một giả thuyết trong 30 giây.
4. Đối chứng: đổi đúng một biến mỗi lần (mixed precision, torch.compile, số worker...) để khoanh vùng cơ chế gây lỗi.
5. Kết luận nguyên nhân chỉ khi bằng chứng đủ, và phải trích dẫn output công cụ cụ thể; nếu chưa đủ thì nói "chưa biết" và đề xuất bước thăm dò tiếp.

Phù hợp với ai

• Nghiên cứu viên / kỹ sư ML huấn luyện mô hình bằng PyTorch, torchrun, accelerate trên server GPU Linux
• Người thường xuyên gặp job chết qua đêm trên cluster và phải mò log
• Ai muốn agent chứng minh nguyên nhân bằng dữ liệu thật thay vì sửa code theo cảm tính

Ví dụ sử dụng

• "Tiến trình biến mất sau 3 giờ train" → đối chiếu log oom-kill trong dmesg với thời điểm checkpoint cuối để phân biệt OOM kernel hay bị kill từ ngoài.
• "Loss thành NaN" → chạy smoke với lr=0 để tách lỗi optimizer khỏi lỗi hàm loss.
• "GPU util = 0 nhưng vẫn báo đang train" → kiểm tra dataloader bị block qua trạng thái tiến trình và thống kê GPU, rồi đối chứng bằng cách chỉ đổi số worker.

Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình:
https://raw.githubusercontent.com/fcakyon/phd-skills/HEAD/plugin/skills/debug/SKILL.md

Mình muốn: (viết việc bạn cần ở đây)

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục plugin/skills/debug từ repo GitHub fcakyon/phd-skills vào ~/.claude/skills/fcakyon-debug/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.