Claude Skill MartKhám phá skillCâu dùng ngayHọc qua videoDùng terminalSkill là gì?
 
← Về danh sách

Hướng dẫn huấn luyện GPT tối giản với nanoGPT

Skill hướng dẫn dùng nanoGPT (~300 dòng) để đi từ mô hình Shakespeare nhỏ trên CPU đến tái tạo GPT-2 124M trên nhiều GPU.

Giáo dụcTrung cấp★ 12,111⑂ 881Điểm AI 8/10Cập nhật lần cuối: 16 thg 6, 2026

Làm được gì

  • Hướng dẫn từng lệnh cho toàn bộ quy trình: chuẩn bị dữ liệu → huấn luyện → sinh văn bản với nanoGPT của Andrej Karpathy.
  • Giải thích các siêu tham số chính trong train_shakespeare_char.py, train_gpt2.py, finetune_shakespeare.py (n_layer, n_head, block_size, learning_rate, gradient_accumulation_steps).
  • Đưa cách xử lý lỗi thường gặp: CUDA out of memory, huấn luyện chậm, chất lượng sinh kém, không tải được trọng số GPT-2.
  • Cung cấp thời gian huấn luyện và VRAM ước tính cho CPU/T4/A100, cùng so sánh khi nào nên dùng HuggingFace, Megatron-LM hay LitGPT thay thế.

Phù hợp với ai

  • Người học muốn hiểu kiến trúc transformer/GPT ở mức mã nguồn.
  • Giảng viên, người tổ chức nhóm học cần bài thực hành huấn luyện mô hình ngôn ngữ nhỏ.
  • Kỹ sư/nhà nghiên cứu ML muốn thử nhanh các biến thể attention, MLP, embedding.

Ví dụ sử dụng

  1. "Máy tôi chỉ có CPU, muốn chạy thử một LLM trong 5 phút" → ba bước chuẩn bị dữ liệu, train, sample với shakespeare_char.
  2. "Cần tái tạo GPT-2 124M trên 8 GPU" → lệnh torchrun DDP và cấu hình batch/gradient accumulation.
  3. "Tôi muốn huấn luyện trên file văn bản của mình" → script tokenizer cấp ký tự và tạo train.bin/val.bin.

· · · Hướng dẫn cài đặt · · ·

Dùng thử ngay, không cần cài

Dán đoạn dưới vào Claude là dùng được skill này mà không cần cài đặt.

Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình:
https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/HEAD/01-model-architecture/nanogpt/SKILL.md

Mình muốn: (viết việc bạn cần ở đây)

Nếu Claude không mở được liên kết, hãy mở liên kết và copy nội dung vào rồi dán.

↓ Thấy hữu ích thì tải ZIP bên dưới và cài. Sau đó skill tự chạy, không phải dán lại mỗi lần.

Cài vào ứng dụng Claude (không cần terminal)
  1. Tải tệp ZIP bằng nút bên dưới.
  2. Trong Claude, mở Settings → Capabilities và bật 'Code execution and file creation'. (chỉ một lần)
  3. Vào Customize → Skills → + → 'Upload a skill' rồi tải tệp ZIP lên.
↓ Tải ZIP
Cài vào Claude Code

Để Claude làm — dán câu dưới đây vào Claude Code

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục 01-model-architecture/nanogpt từ repo GitHub Orchestra-Research/AI-Research-SKILLs vào ~/.claude/skills/nanogpt/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.

Cài bằng lệnh thủ công

git clone https://github.com/Orchestra-Research/AI-Research-SKILLs.git /tmp/ai-research-skills && mkdir -p ~/.claude/skills/nanogpt && cp -r /tmp/ai-research-skills/01-model-architecture/nanogpt/* ~/.claude/skills/nanogpt/

⚠ Đây là skill do người khác tạo. Hãy kiểm tra repo gốc trước khi cài.

  1. Mở terminal và clone repo skill: git clone https://github.com/Orchestra-Research/AI-Research-SKILLs.git
  2. Tạo thư mục skill: mkdir -p ~/.claude/skills/nanogpt
  3. Sao chép nội dung: cp -r AI-Research-SKILLs/01-model-architecture/nanogpt/* ~/.claude/skills/nanogpt/
  4. Clone mã nguồn gốc để có train.py và config: git clone https://github.com/karpathy/nanoGPT.git
  5. Cài thư viện Python: pip install torch numpy transformers datasets tiktoken wandb tqdm
  6. Khởi động lại Claude Code và thử yêu cầu "huấn luyện mô hình Shakespeare bằng nanoGPT" để kiểm tra skill đã nạp.
Xem mã nguồn trên GitHub ↗Giấy phép: MIT