Hướng dẫn kiến trúc RWKV
Kỹ năng hướng dẫn cài đặt, suy luận và tinh chỉnh RWKV — mô hình lai RNN+Transformer với suy luận tuyến tính O(n) và ngữ cảnh vô hạn.
Lập trìnhNâng cao★ 12,226⑂ 888Điểm AI 7/10Cập nhật lần cuối: 16 thg 6, 2026
Làm được gì
- Cung cấp code cài đặt RWKV, chạy suy luận ở cả chế độ GPT (song song) và RNN (tuần tự), sinh văn bản dạng streaming.
- Hướng dẫn quản lý
stateđể xử lý tài liệu cực dài (hàng trăm nghìn tới 1 triệu token) với bộ nhớ hằng số, không cần KV cache. - Mẫu cấu hình tinh chỉnh bằng PyTorch Lightning + DeepSpeed, kèm cách xử lý OOM, suy luận chậm, mất state.
- So sánh RWKV với Transformer / Mamba / RetNet / Hyena và bảng VRAM theo kích thước mô hình.
Phù hợp với ai
- Kỹ sư ML cần chạy LLM ngữ cảnh dài trong môi trường hạn chế bộ nhớ.
- Lập trình viên xây dựng ứng dụng sinh token theo thời gian thực.
- Nhà nghiên cứu khảo sát các kiến trúc thay thế Transformer.
Ví dụ sử dụng
- "Viết code load mô hình RWKV 1.5B với
cuda fp16và sinh văn bản từng token." - "Tạo pipeline chia tài liệu 1 triệu token thành chunk và truyền state liên tục."
- "Dựng script fine-tune RWKV trên 8 GPU với DeepSpeed stage 2 và giảm lỗi hết bộ nhớ."
· · · Hướng dẫn cài đặt · · ·
Dùng thử ngay, không cần cài
Dán đoạn dưới vào Claude là dùng được skill này mà không cần cài đặt.
Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình: https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/HEAD/01-model-architecture/rwkv/SKILL.md Mình muốn: (viết việc bạn cần ở đây)
Nếu Claude không mở được liên kết, hãy mở liên kết và copy nội dung vào rồi dán.
↓ Thấy hữu ích thì tải ZIP bên dưới và cài. Sau đó skill tự chạy, không phải dán lại mỗi lần.
Cài vào ứng dụng Claude (không cần terminal)
- Tải tệp ZIP bằng nút bên dưới.
- Trong Claude, mở Settings → Capabilities và bật 'Code execution and file creation'. (chỉ một lần)
- Vào Customize → Skills → + → 'Upload a skill' rồi tải tệp ZIP lên.
Cài vào Claude Code
Để Claude làm — dán câu dưới đây vào Claude Code
Hãy cài skill mình tìm thấy trên Claude Skill Mart. Copy thư mục 01-model-architecture/rwkv từ repo GitHub Orchestra-Research/AI-Research-SKILLs vào ~/.claude/skills/rwkv-architecture/ của mình. Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.
Cài bằng lệnh thủ công
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs.git && mkdir -p ~/.claude/skills && cp -r AI-Research-SKILLs/01-model-architecture/rwkv ~/.claude/skills/rwkv-architecture⚠ Đây là skill do người khác tạo. Hãy kiểm tra repo gốc trước khi cài.
- Mở terminal.
- Tải kho mã:
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs.git - Tạo thư mục kỹ năng:
mkdir -p ~/.claude/skills - Sao chép kỹ năng:
cp -r AI-Research-SKILLs/01-model-architecture/rwkv ~/.claude/skills/rwkv-architecture - Khởi động lại Claude Code và thử hỏi "giúp tôi suy luận ngữ cảnh dài bằng RWKV".
- Để chạy thực tế cần GPU NVIDIA (CUDA 11.6+) và
pip install torch rwkv.
Xem mã nguồn trên GitHub ↗Giấy phép: MIT