Scrapling 웹 추출 도우미
Scrapling CLI로 웹페이지를 HTML·마크다운·텍스트로 안전하게 추출하고, 설치 문제까지 진단해 주는 스킬입니다.
웹·API 연동중급★ 1,323⑂ 212AI 점수 8/10마지막 업데이트: 2026. 8. 8.
무엇을 해주나
- Scrapling CLI 설치 상태를 먼저 진단(
diagnose_scrapling.py)해click누락, 브라우저 런타임 미설치 같은 문제를 찾아냅니다. - 정적 추출(
extract get) → JS 렌더링(extract fetch) → 안티봇 우회(stealthy-fetch) 순서로 단계적으로만 올라가도록 판단 규칙을 제공합니다. - CSS 선택자를 이용해 본문만 마크다운으로 저장하고, 저장된 파일 크기·내용을 실제로 검증해 "성공한 척"하는 실수를 막습니다.
- SSL 인증서 오류, 위챗(mp.weixin.qq.com) 기사 페이지 등 알려진 실패 패턴별 복구 절차를 안내합니다.
이런 분께 추천
- 블로그·뉴스·기술 문서를 마크다운으로 모아 보관하거나 요약 자료로 쓰려는 분
- 위챗 공식 계정 기사처럼 구조가 까다로운 페이지를 자주 긁어야 하는 리서처
- 스크래핑이 왜 빈 파일만 남기는지 원인을 체계적으로 찾고 싶은 개발자
활용 예시
- "이 기술 블로그 글 본문만 마크다운으로 저장해줘" →
extract get ... -s 'main'으로 저장 후 앞부분 40줄을 검증. - "위챗 기사 내용을 정리해줘" →
-s '#js_content'선택자로 본문만 추출하고, 인증서 오류 시--no-verify로 재시도. - "페이지가 비어 있게 나와요" → 진단 스크립트로 Chromium 설치를 확인하고
extract fetch --timeout 20000으로 승격.
· · · 설치 가이드 · · ·
Claude 앱에 설치 (터미널 필요 없음)
- 아래 버튼으로 ZIP 파일을 받으세요.
- Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
- Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
Claude Code에 설치
Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요
클로드스킬마트에서 찾은 스킬을 설치해줘. GitHub 저장소 daymade/claude-code-skills 의 scrapling-skill 폴더를 내 ~/.claude/skills/scrapling-skill/ 에 그대로 복사해줘. 설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.
직접 명령으로 설치하기
git clone https://github.com/daymade/claude-code-skills.git && mkdir -p ~/.claude/skills && cp -r claude-code-skills/scrapling-skill ~/.claude/skills/⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.
- 터미널을 열고 원하는 작업 폴더로 이동합니다.
- 저장소를 복제합니다:
git clone https://github.com/daymade/claude-code-skills.git - 스킬 폴더를 만듭니다:
mkdir -p ~/.claude/skills - 스킬을 복사합니다:
cp -r claude-code-skills/scrapling-skill ~/.claude/skills/ - Scrapling CLI를 설치합니다:
uv tool install 'scrapling[shell]'(uv가 없으면 먼저 uv 설치) - 브라우저 기반 추출이 필요하면
scrapling install을 실행합니다. - Claude Code를 재시작하고 "Scrapling으로 이 URL 본문을 마크다운으로 저장해줘"라고 요청하면 스킬이 자동 호출됩니다.
GitHub에서 원본 보기 ↗라이선스: MIT