RWKV 아키텍처 가이드
O(n) 선형 추론과 무한 컨텍스트를 제공하는 RWKV 모델을 설치·추론·파인튜닝까지 코드로 안내하는 스킬.
개발·코딩고급★ 12,226⑂ 888AI 점수 7/10마지막 업데이트: 2026. 6. 16.
무엇을 해주나
- RWKV(RNN+Transformer 하이브리드) 모델의 설치, GPT 모드/RNN 모드 추론, 스트리밍 생성 코드를 제공합니다.
- KV 캐시 없이 상수 메모리로 초장문(수십만~100만 토큰)을 처리하는 state 관리 패턴을 알려줍니다.
- PyTorch Lightning + DeepSpeed 기반 파인튜닝 설정과 OOM·느린 추론·state 유실 같은 흔한 문제 해결법을 정리합니다.
- Transformer / Mamba / RetNet / Hyena 대비 언제 RWKV를 선택할지 판단 기준과 모델 크기별 VRAM 요구량을 제시합니다.
이런 분께 추천
- 메모리 제약 환경에서 긴 컨텍스트 LLM을 돌려야 하는 ML 엔지니어
- 스트리밍/실시간 토큰 생성 서비스를 만드는 개발자
- Transformer 대안 아키텍처를 조사·비교하는 연구자
활용 예시
- "1.5B RWKV 모델을 cuda fp16으로 올려서 토큰 단위 스트리밍 생성 코드를 만들어줘"
- "100만 토큰 문서를 청크로 나눠 state를 이어가며 처리하는 파이프라인을 작성해줘"
- "8-GPU DeepSpeed stage 2 환경에서 RWKV 파인튜닝 스크립트를 구성하고 OOM을 줄여줘"
· · · 설치 가이드 · · ·
설치 없이 지금 한 번 써보기
아래를 Claude에 붙여넣으면 설치하지 않고도 이 스킬을 그대로 씁니다.
이 파일의 지시를 읽고 그대로 따라서 나를 도와줘: https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/HEAD/01-model-architecture/rwkv/SKILL.md 내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)
Claude가 링크를 열지 못하면, 링크를 직접 열어 내용을 복사해 붙여넣으세요.
↓ 쓸 만하면 아래에서 ZIP을 받아 설치하세요. 그러면 매번 붙여넣지 않아도 알아서 작동합니다.
Claude 앱에 설치 (터미널 필요 없음)
- 아래 버튼으로 ZIP 파일을 받으세요.
- Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
- Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
Claude Code에 설치
Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요
클로드스킬마트에서 찾은 스킬을 설치해줘. GitHub 저장소 Orchestra-Research/AI-Research-SKILLs 의 01-model-architecture/rwkv 폴더를 내 ~/.claude/skills/rwkv-architecture/ 에 그대로 복사해줘. 설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.
직접 명령으로 설치하기
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs.git && mkdir -p ~/.claude/skills && cp -r AI-Research-SKILLs/01-model-architecture/rwkv ~/.claude/skills/rwkv-architecture⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.
- 터미널을 엽니다.
- 저장소를 내려받습니다:
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs.git - 스킬 폴더를 만듭니다:
mkdir -p ~/.claude/skills - 이 스킬만 복사합니다:
cp -r AI-Research-SKILLs/01-model-architecture/rwkv ~/.claude/skills/rwkv-architecture - Claude Code를 재시작한 뒤 "RWKV로 긴 컨텍스트 추론하고 싶어"처럼 물어보면 스킬이 동작합니다.
- 실제 실행에는 NVIDIA GPU(CUDA 11.6+)와
pip install torch rwkv가 필요합니다.
GitHub에서 원본 보기 ↗라이선스: MIT