Mamba 아키텍처 (선택적 상태공간 모델)

무엇을 해주나

Transformer의 O(n²) 어텐션 대신 O(n) 선형 복잡도로 동작하는 상태공간 모델(SSM) Mamba를 실제로 돌려보게 도와줍니다.

• mamba-ssm, causal-conv1d 설치 절차와 전제조건(Linux, NVIDIA GPU, CUDA 11.6+) 안내
• Mamba 블록 및 MambaLMHeadModel로 언어모델 구성·텍스트 생성 코드
• HuggingFace state-spaces/mamba-130m ~ 2.8b 사전학습 모델 로딩법
• Mamba-1(d_state=16) vs Mamba-2(d_state=128, 멀티헤드, RMSNorm, 텐서 병렬) 차이 정리
• Transformer(Pythia) 대비 생성 속도 벤치마크 명령과 모델별 VRAM 요구량 표
• OOM, 설치 실패, HuggingFace 로딩 오류 등 흔한 문제 해결법

이런 분께 추천

• 긴 문맥(10만 토큰 이상)이나 스트리밍 추론이 필요한 ML 엔지니어
• KV 캐시 메모리 부담을 줄이고 싶은 LLM 서빙 담당자
• Transformer 대안 아키텍처(RWKV, RetNet, Hyena 등)를 비교 검토하는 연구자

활용 예시

1. "mamba-2.8b를 GPU에 올려 프롬프트 생성 결과를 뽑아줘" → 사전학습 모델 로딩 + generate 코드 제공
2. "우리 모델을 Mamba-2 블록으로 바꾸고 싶어" → Mamba2 설정값(headdim, ngroups)과 Mamba-1과의 차이 설명
3. "Mamba가 Pythia보다 정말 빠른지 측정해줘" → 동일 조건 벤치마크 스크립트 명령 제시

이 파일의 지시를 읽고 그대로 따라서 나를 도와줘:
https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/HEAD/01-model-architecture/mamba/SKILL.md

내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)

클로드스킬마트에서 찾은 스킬을 설치해줘.
GitHub 저장소 Orchestra-Research/AI-Research-SKILLs 의 01-model-architecture/mamba 폴더를 내 ~/.claude/skills/mamba-architecture/ 에 그대로 복사해줘.
설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.