Autoresearch Agent (Vòng lặp thử nghiệm tự động)
Vòng lặp tự động chỉnh sửa một file mục tiêu, đo metric, giữ lại cải tiến bằng git commit và revert khi kết quả xấu đi.
Làm được gì
Một vòng lặp thử nghiệm tự trị lấy cảm hứng từ autoresearch của Karpathy: agent sửa một file → chạy lệnh đánh giá cố định → nếu metric tốt hơn thì commit, nếu xấu hơn thì git reset — và lặp lại mãi.
- Các lệnh:
/ar:setup,/ar:run,/ar:loop,/ar:status,/ar:resume - Ghi lịch sử vào
results.tsv, xuất báo cáo TSV/CSV/Markdown và dashboard tổng hợp - Bộ đánh giá sẵn có: tốc độ, kích thước file/bundle, tỉ lệ test pass, thời gian build, bộ nhớ, và LLM judge cho tiêu đề/copy/prompt
- Nguyên tắc: mỗi lần chỉ đổi một thứ, tuyệt đối không sửa
evaluate.py, dừng khi crash 5 lần liên tiếp
Phù hợp với ai
- Lập trình viên muốn tối ưu hiệu năng, kích thước bundle, thời gian build theo số liệu
- Marketer / prompt engineer muốn cải thiện tiêu đề, nội dung quảng cáo, system prompt theo điểm số
- Người muốn để agent chạy thử nghiệm qua đêm
Yêu cầu: repo git, một file mục tiêu, lệnh đánh giá in ra metric, và Python.
Ví dụ sử dụng
- Giảm p50 latency của
src/api/search.pybằng benchmark pytest, chạy hàng chục vòng lặp - Tối ưu tiêu đề trong
content/titles.mdbằng LLM judge vớictr_score0-10 - Chạy loop ban đêm để thu nhỏ bundle frontend theo
size_bytes
· · · Hướng dẫn cài đặt · · ·
Dùng thử ngay, không cần cài
Dán đoạn dưới vào Claude là dùng được skill này mà không cần cài đặt.
Hãy đọc hướng dẫn trong tệp này và làm theo để giúp mình: https://raw.githubusercontent.com/alirezarezvani/claude-skills/HEAD/.gemini/skills/autoresearch-agent/SKILL.md Mình muốn: (viết việc bạn cần ở đây)
Nếu Claude không mở được liên kết, hãy mở liên kết và copy nội dung vào rồi dán.
↓ Thấy hữu ích thì tải ZIP bên dưới và cài. Sau đó skill tự chạy, không phải dán lại mỗi lần.
Cài vào ứng dụng Claude (không cần terminal)
- Tải tệp ZIP bằng nút bên dưới.
- Trong Claude, mở Settings → Capabilities và bật 'Code execution and file creation'. (chỉ một lần)
- Vào Customize → Skills → + → 'Upload a skill' rồi tải tệp ZIP lên.
Cài vào Claude Code
Để Claude làm — dán câu dưới đây vào Claude Code
Hãy cài skill mình tìm thấy trên Claude Skill Mart. Copy thư mục .gemini/skills/autoresearch-agent từ repo GitHub alirezarezvani/claude-skills vào ~/.claude/skills/autoresearch-agent/ của mình. Sau khi cài xong, cho mình biết skill này làm được gì trong một câu.
Cài bằng lệnh thủ công
git clone https://github.com/alirezarezvani/claude-skills.git && mkdir -p ~/.claude/skills && cp -r claude-skills/.gemini/skills/autoresearch-agent ~/.claude/skills/⚠ Đây là skill do người khác tạo. Hãy kiểm tra repo gốc trước khi cài.
- Mở terminal và clone repo:
git clone https://github.com/alirezarezvani/claude-skills.git - Tìm thư mục skill:
find claude-skills -name autoresearch-agent -type d - Tạo thư mục skills:
mkdir -p ~/.claude/skills - Sao chép toàn bộ thư mục:
cp -r claude-skills/.gemini/skills/autoresearch-agent ~/.claude/skills/ - Kiểm tra các script trong
scripts/đã được copy và máy đã cài Python 3. - Đảm bảo dự án cần tối ưu là một repo git (nếu chưa thì
git initvà commit lần đầu). - Khởi động lại Claude Code, gõ
/ar:setuphoặc yêu cầu "tối ưu file này cho nhanh hơn". - Trước khi chạy loop, hãy chạy thử lệnh đánh giá một lần để chắc chắn nó in ra dạng
metric: value.