Oxylabs 웹 스크래퍼 API
Oxylabs Web Scraper API로 차단 없이 웹 페이지·검색결과·상품 데이터를 구조화된 JSON으로 수집하게 해주는 스킬.
웹·API 연동중급★ 777⑂ 2AI 점수 9/10마지막 업데이트: 2026. 8. 21.
무엇을 해주나
- Oxylabs Web Scraper API의 엔드포인트(
realtime.oxylabs.io,data.oxylabs.io)와 요청 형식을 Claude에게 정확히 알려줍니다. source,parse,render,geo_location,session_id,user_agent_type등 핵심 파라미터를 표로 정리해, 상황에 맞는 페이로드를 스스로 조립하게 합니다.- 아마존 상품, 구글 검색 등 40개 이상의 전용 소스와
universal소스를 구분해 쓰는 판단 기준을 제공합니다. - 지오 타게팅(우편번호·국가/주), 자바스크립트 렌더링, 커스텀 헤더/쿠키, 배치 Push-Pull 작업(최대 5,000건), 이미지 base64 다운로드까지 다룹니다.
- 400/401/403/429 등 오류 코드 해석과 렌더링 요청 시 180초 타임아웃 같은 실무 가이드도 포함됩니다.
이런 분께 추천
- 이미 Oxylabs 계정을 쓰고 있거나 도입을 검토 중인 데이터·백엔드 엔지니어
- 가격 모니터링, 상품 카탈로그 수집, SERP 추적이 필요한 이커머스/마케팅 데이터 팀
- 안티봇 차단 때문에 자체 스크래퍼 유지보수에 지친 개발자
활용 예시
- "ASIN B07FZ8S74R 상품 정보를 파싱해서 가져와" →
source: amazon_product,parse: true요청을 자동 생성. - "캘리포니아 기준 'best laptops' 구글 검색 결과 1~3페이지를 JSON으로" →
google_search+geo_location: "California,United States"+ 페이지네이션 파라미터 구성. - "자바스크립트로 그려지는 이 페이지 전체를 마크다운으로 뽑아줘" →
universal+render: "html"+markdown결과 타입 사용.
· · · 설치 가이드 · · ·
설치 없이 지금 한 번 써보기
아래를 Claude에 붙여넣으면 설치하지 않고도 이 스킬을 그대로 씁니다.
이 파일의 지시를 읽고 그대로 따라서 나를 도와줘: https://raw.githubusercontent.com/oxylabs/agent-skills/HEAD/skills/web-scraper-api/SKILL.md 내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)
Claude가 링크를 열지 못하면, 링크를 직접 열어 내용을 복사해 붙여넣으세요.
↓ 쓸 만하면 아래에서 ZIP을 받아 설치하세요. 그러면 매번 붙여넣지 않아도 알아서 작동합니다.
Claude 앱에 설치 (터미널 필요 없음)
- 아래 버튼으로 ZIP 파일을 받으세요.
- Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
- Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
Claude Code에 설치
Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요
클로드스킬마트에서 찾은 스킬을 설치해줘. GitHub 저장소 oxylabs/agent-skills 의 skills/web-scraper-api 폴더를 내 ~/.claude/skills/web-scraper-api/ 에 그대로 복사해줘. 설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.
직접 명령으로 설치하기
git clone https://github.com/oxylabs/agent-skills.git /tmp/oxylabs-agent-skills && mkdir -p ~/.claude/skills && cp -r /tmp/oxylabs-agent-skills/skills/web-scraper-api ~/.claude/skills/⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.
- 터미널을 엽니다.
- 저장소를 내려받습니다:
git clone https://github.com/oxylabs/agent-skills.git - 스킬 폴더를 복사합니다:
mkdir -p ~/.claude/skills && cp -r agent-skills/skills/web-scraper-api ~/.claude/skills/ - Oxylabs 대시보드에서 Web Scraper API 사용자 이름과 비밀번호를 발급받습니다.
- 셸 설정 파일(
~/.zshrc또는~/.bashrc)에export OXY_WSA_USERNAME="아이디",export OXY_WSA_PASSWORD="비밀번호"를 추가하고source ~/.zshrc로 적용합니다. - Claude Code를 재시작한 뒤 "이 URL을 스크래핑해줘"처럼 요청하면 스킬이 자동으로 발동합니다.
GitHub에서 원본 보기 ↗라이선스: MIT