AUV 데스크톱 제어
moeru-ai/AUV CLI를 실행 계층으로 삼아 네이티브 데스크톱 앱을 관찰·조작·검증하는 자동화 스킬.
자동화·워크플로고급★ 430⑂ 46AI 점수 7/10마지막 업데이트: 2026. 10. 7.
무엇을 해주나
auvCLI(또는 연결된 MCP)를 이용해 네이티브 데스크톱 앱을 자동 조작합니다.- 먼저
auv doctor,auv plugin list,auv invoke <command> --help로 실제 설치된 기능만 확인한 뒤 사용하도록 강제합니다. - 창 목록·캡처·OCR로 대상 창을 특정하고, 가장 작은 범위의 입력을 보낸 다음 결과를 의미 단위로 재관찰해 검증합니다.
--json출력 봉투(run_id,status,result,artifacts,failure)를 해석하고, "종료 코드 0 = 목표 달성"이 아니라는 점을 분명히 합니다.- 좌표계 혼동(논리 좌표 vs 캡처 픽셀), 포커스 유실, 팝업 창 누락 같은 전형적 실패를 진단하고 복구합니다.
이런 분께 추천
- AUV를 이미 쓰거나 도입을 검토하는 데스크톱 자동화 엔지니어
- 브라우저 자동화로는 안 되는 네이티브 앱(메신저, 에디터, 금융 단말 등) 반복 작업을 자동화하려는 분
- QA·RPA 담당자로서 "입력은 됐는데 정말 반영됐나"를 증거로 확인해야 하는 분
활용 예시
- 메신저에 메시지 전송:
window.list --json으로 대화창 식별 → 입력 필드 포커스 → 텍스트 입력 → 전송 전 필드 내용 확인 → 전송 후 말풍선 캡처로 검증. - 네이티브 검색 결과 처리: 앱 단독 캡처에 결과가 안 보이면 전체 디스플레이를 다시 관찰해 별도 팝업 창을 찾고, 디스플레이 스케일로 좌표를 변환해 클릭.
- 반복 워크플로 재사용: 검증된 플로를 blind click/sleep 없이 인자 배열 기반의 작은 CLI 스크립트로 정리하고, 모호한 부분 효과가 보이면 중단하도록 가드 추가.
· · · 설치 가이드 · · ·
설치 없이 지금 한 번 써보기
아래를 Claude에 붙여넣으면 설치하지 않고도 이 스킬을 그대로 씁니다.
이 파일의 지시를 읽고 그대로 따라서 나를 도와줘: https://raw.githubusercontent.com/aiskillstore/marketplace/HEAD/pending/0xselenicdove/auv-computer-control/SKILL.md 내가 원하는 것: (여기에 하고 싶은 일을 쓰세요)
Claude가 링크를 열지 못하면, 링크를 직접 열어 내용을 복사해 붙여넣으세요.
↓ 쓸 만하면 아래에서 ZIP을 받아 설치하세요. 그러면 매번 붙여넣지 않아도 알아서 작동합니다.
Claude 앱에 설치 (터미널 필요 없음)
- 아래 버튼으로 ZIP 파일을 받으세요.
- Claude 설정 → Capabilities에서 '코드 실행 및 파일 생성'을 켭니다. (한 번만)
- Claude에서 Customize → Skills → + → '스킬 업로드'를 누르고 받은 ZIP을 올립니다.
Claude Code에 설치
Claude에게 맡기기 — 아래 문장을 Claude Code에 붙여넣으세요
클로드스킬마트에서 찾은 스킬을 설치해줘. GitHub 저장소 aiskillstore/marketplace 의 pending/0xselenicdove/auv-computer-control 폴더를 내 ~/.claude/skills/auv-computer-control/ 에 그대로 복사해줘. 설치가 끝나면 이 스킬로 무엇을 할 수 있는지 한 줄로 알려줘.
직접 명령으로 설치하기
git clone https://github.com/aiskillstore/marketplace.git && mkdir -p ~/.claude/skills/auv-computer-control && cp -r marketplace/pending/0xselenicdove/auv-computer-control/* ~/.claude/skills/auv-computer-control/⚠ 제3자가 만든 스킬입니다. 설치 전 원본 저장소를 한 번 확인하세요.
- 터미널을 엽니다.
- 저장소를 받습니다:
git clone https://github.com/aiskillstore/marketplace.git - 스킬 폴더를 만듭니다:
mkdir -p ~/.claude/skills/auv-computer-control - 파일을 복사합니다:
cp -r marketplace/pending/0xselenicdove/auv-computer-control/* ~/.claude/skills/auv-computer-control/ references/operations.md가 함께 복사됐는지 확인합니다(설치·설정 안내가 들어 있습니다).- 별도로 moeru-ai/AUV CLI를 설치하세요. 스킬 설치만으로는 AUV가 깔리지 않습니다. 설치 후
auv --version,auv doctor로 확인합니다. - macOS라면 시스템 설정 → 개인정보 보호 및 보안에서 화면 기록과 손쉬운 사용(접근성) 권한을 터미널/앱에 부여합니다.
- Claude Code를 재시작하고 "AUV로 ○○ 앱에서 ~해줘"처럼 요청합니다.