Claude Skill MartKhám phá skillCâu dùng ngayHọc qua videoDùng terminalSkill là gì?
 
← Về danh sách

Triển khai LLM với LitGPT

Kỹ năng hướng dẫn dùng LitGPT của Lightning AI để tải hơn 20 kiến trúc LLM, fine-tune LoRA/QLoRA, pretrain và triển khai.

Lập trìnhNâng cao★ 11,726⑂ 856Điểm AI 8/10Cập nhật lần cuối: 16 thg 6, 2026

Làm được gì

  • Hướng dẫn cài LitGPT và tải nhanh Phi-2, Llama 3, Gemma, Qwen, Mistral… bằng LLM.load().
  • Quy trình checklist: chuẩn bị dataset dạng Alpaca JSON → fine-tune đầy đủ hoặc LoRA → gộp adapter.
  • Hướng dẫn pretrain từ đầu trên dữ liệu chuyên ngành với FSDP, nhiều GPU và SLURM.
  • Bước triển khai: lượng tử hóa, chuyển GGUF, phục vụ bằng FastAPI, kèm cách xử lý lỗi OOM và train chậm.
  • So sánh với Axolotl/TRL, Megatron-Core, vLLM để biết khi nào nên chọn LitGPT.

Phù hợp với ai

  • Kỹ sư ML fine-tune mô hình nhỏ trên một GPU 12–16GB.
  • Nghiên cứu sinh, sinh viên muốn đọc code kiến trúc transformer dạng một file, không lớp trừu tượng.
  • Nhóm dùng hệ sinh thái Lightning hoặc cần pretrain mô hình theo miền dữ liệu riêng.

Ví dụ sử dụng

  1. "Fine-tune Phi-2 bằng 3.000 hội thoại chăm sóc khách hàng" → gợi ý định dạng dữ liệu, lệnh litgpt finetune_lora và ước lượng bộ nhớ.
  2. "Bị OOM khi fine-tune mô hình 7B" → chuyển sang LoRA, chỉnh micro/global batch, bật gradient accumulation.
  3. "Đưa adapter đã train lên API" → chạy merge_lora, lượng tử hóa rồi dựng endpoint FastAPI.

· · · Hướng dẫn cài đặt · · ·

Dùng thử ngay, không cần cài

Dán đoạn dưới vào Claude là dùng được skill này mà không cần cài đặt.

Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình:
https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/HEAD/01-model-architecture/litgpt/SKILL.md

Mình muốn: (viết việc bạn cần ở đây)

Nếu Claude không mở được liên kết, hãy mở liên kết và copy nội dung vào rồi dán.

↓ Thấy hữu ích thì tải ZIP bên dưới và cài. Sau đó skill tự chạy, không phải dán lại mỗi lần.

Cài vào ứng dụng Claude (không cần terminal)
  1. Tải tệp ZIP bằng nút bên dưới.
  2. Trong Claude, mở Settings → Capabilities và bật 'Code execution and file creation'. (chỉ một lần)
  3. Vào Customize → Skills → + → 'Upload a skill' rồi tải tệp ZIP lên.
↓ Tải ZIP
Cài vào Claude Code

Để Claude làm — dán câu dưới đây vào Claude Code

Hãy cài skill mình tìm thấy trên Claude Skill Mart.
Copy thư mục 01-model-architecture/litgpt từ repo GitHub Orchestra-Research/AI-Research-SKILLs vào ~/.claude/skills/implementing-llms-litgpt/ của mình.
Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.

Cài bằng lệnh thủ công

git clone https://github.com/Orchestra-Research/AI-Research-SKILLs.git && mkdir -p ~/.claude/skills && cp -r AI-Research-SKILLs/01-model-architecture/litgpt ~/.claude/skills/implementing-llms-litgpt

⚠ Đây là skill do người khác tạo. Hãy kiểm tra repo gốc trước khi cài.

  1. Mở terminal và đảm bảo đã cài Claude Code.
  2. Tải kho kỹ năng: git clone https://github.com/Orchestra-Research/AI-Research-SKILLs.git
  3. Tạo thư mục kỹ năng: mkdir -p ~/.claude/skills
  4. Sao chép kỹ năng: cp -r AI-Research-SKILLs/01-model-architecture/litgpt ~/.claude/skills/implementing-llms-litgpt
  5. Nếu muốn chạy huấn luyện thật, cài thư viện: pip install 'litgpt[extra]' (nên có GPU NVIDIA/CUDA).
  6. Khởi động lại Claude Code và thử yêu cầu: "Dùng LitGPT fine-tune LoRA cho Phi-2 giúp mình".
Xem mã nguồn trên GitHub ↗Giấy phép: MIT