Điều khiển máy tính bằng AUV
Kỹ năng tự động hóa ứng dụng desktop gốc bằng CLI moeru-ai/AUV theo vòng quan sát – hành động – xác minh.
Tự động hóaNâng cao★ 430⑂ 46Điểm AI 7/10Cập nhật lần cuối: 7 thg 10, 2026
Làm được gì
- Dùng CLI
auv(hoặc MCP đã kết nối) làm lớp thực thi để điều khiển ứng dụng desktop gốc. - Buộc kiểm tra năng lực thực tế trước:
auv doctor,auv plugin list,auv invoke <command> --help— không tự bịa lệnh. - Xác định đúng cửa sổ qua
window.list --json, chụp ảnh và OCR; gửi hành động nhỏ nhất rồi quan sát lại để xác minh kết quả theo nghĩa nghiệp vụ. - Đọc phong bì JSON (
run_id,status,result,artifacts,failure) và nhấn mạnh: exit 0 chỉ chứng minh đã thực thi, không chứng minh đạt mục tiêu. - Xử lý lỗi kinh điển: lẫn hệ tọa độ (điểm logic vs pixel ảnh chụp), mất focus, popup nằm ngoài vùng chụp, thiếu quyền hệ điều hành.
Dành cho ai
- Kỹ sư tự động hóa desktop đang dùng hoặc đánh giá AUV.
- Người cần tự động hóa ứng dụng gốc (chat, editor, phần mềm nội bộ) mà công cụ browser không chạm tới được.
- QA/RPA cần bằng chứng "đã nhập" khác với "đã thực sự có hiệu lực".
Ví dụ sử dụng
- Gửi tin nhắn trong app chat: liệt kê cửa sổ → focus ô nhập → gõ nội dung → kiểm tra nội dung trước khi Enter → chụp lại để xác minh tin đã gửi.
- Chọn kết quả tìm kiếm trong menu gốc: nếu ảnh chụp theo app không thấy kết quả, quan sát toàn màn hình để tìm popup riêng, quy đổi tọa độ theo scale/bounds rồi click.
- Tái sử dụng quy trình lặp: biến luồng đã xác minh thành script CLI nhỏ dùng mảng tham số, có timeout giới hạn và dừng ngay khi hiệu ứng mơ hồ — tránh chuỗi click/sleep mù.
· · · Hướng dẫn cài đặt · · ·
Dùng thử ngay, không cần cài
Dán đoạn dưới vào Claude là dùng được skill này mà không cần cài đặt.
Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình: https://raw.githubusercontent.com/aiskillstore/marketplace/HEAD/pending/0xselenicdove/auv-computer-control/SKILL.md Mình muốn: (viết việc bạn cần ở đây)
Nếu Claude không mở được liên kết, hãy mở liên kết và copy nội dung vào rồi dán.
↓ Thấy hữu ích thì tải ZIP bên dưới và cài. Sau đó skill tự chạy, không phải dán lại mỗi lần.
Cài vào ứng dụng Claude (không cần terminal)
- Tải tệp ZIP bằng nút bên dưới.
- Trong Claude, mở Settings → Capabilities và bật 'Code execution and file creation'. (chỉ một lần)
- Vào Customize → Skills → + → 'Upload a skill' rồi tải tệp ZIP lên.
Cài vào Claude Code
Để Claude làm — dán câu dưới đây vào Claude Code
Hãy cài skill mình tìm thấy trên Claude Skill Mart. Copy thư mục pending/0xselenicdove/auv-computer-control từ repo GitHub aiskillstore/marketplace vào ~/.claude/skills/auv-computer-control/ của mình. Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.
Cài bằng lệnh thủ công
git clone https://github.com/aiskillstore/marketplace.git && mkdir -p ~/.claude/skills/auv-computer-control && cp -r marketplace/pending/0xselenicdove/auv-computer-control/* ~/.claude/skills/auv-computer-control/⚠ Đây là skill do người khác tạo. Hãy kiểm tra repo gốc trước khi cài.
- Mở terminal.
- Tải repo:
git clone https://github.com/aiskillstore/marketplace.git - Tạo thư mục skill:
mkdir -p ~/.claude/skills/auv-computer-control - Copy file:
cp -r marketplace/pending/0xselenicdove/auv-computer-control/* ~/.claude/skills/auv-computer-control/ - Kiểm tra
references/operations.mdđã được copy (chứa hướng dẫn cài đặt AUV). - Cài riêng CLI moeru-ai/AUV — cài skill không tự cài AUV. Sau đó chạy
auv --versionvàauv doctorđể kiểm tra. - Trên macOS, cấp quyền Screen Recording và Accessibility cho terminal/ứng dụng trong Cài đặt hệ thống → Quyền riêng tư & Bảo mật.
- Khởi động lại Claude Code và yêu cầu kiểu: "dùng AUV để làm X trong ứng dụng Y".