Trải nghiệm khi dùng OmniParser
Bạn clone mã nguồn về, tạo môi trường Python bằng conda rồi cài các thư viện theo file requirements. Sau đó tải trọng số mô hình (các file mô hình đã huấn luyện) từ Hugging Face về thư mục weights, một bước README hướng dẫn bằng vài lệnh. Phần chuẩn bị này mất thời gian vì file mô hình khá nặng.
Khi mọi thứ sẵn sàng, bạn chạy bản demo Gradio để có một trang web nhỏ ngay trên máy: kéo ảnh chụp màn hình vào, và OmniParser vẽ các khung quanh từng nút, biểu tượng, ô nhập, kèm chú thích như đây là nút tìm kiếm hay đây là biểu tượng cài đặt. Bạn cũng có thể mở file notebook mẫu để xem cách gọi từ code.
Giá trị thật nằm ở bước tiếp theo: đưa kết quả đó cho một mô hình ngôn ngữ có khả năng nhìn ảnh để nó quyết định bấm vào đâu. Nhóm tác giả cũng có OmniTool, một cách điều khiển máy ảo Windows 11 bằng OmniParser cùng mô hình bạn chọn, nhưng phần này README ghi tài liệu vẫn đang hoàn thiện.
Tính năng nổi bật
Đọc giao diện chỉ bằng ảnh
Không cần truy cập mã nguồn của ứng dụng hay cây giao diện; chỉ cần ảnh chụp màn hình là đủ để tìm ra các phần tử có thể tương tác.
Gắn nhãn chức năng cho từng biểu tượng
Ngoài việc khoanh vùng, mô hình mô tả mỗi biểu tượng dùng để làm gì, giúp AI chọn đúng chỗ cần bấm.
Biết phần tử nào bấm được
Bản 1.5 trở đi dự đoán phần tử nào tương tác được, và phát hiện được các biểu tượng nhỏ chi tiết hơn.
Chạy thử bằng demo Gradio
Một lệnh Python mở trang web demo cục bộ, thuận tiện để xem OmniParser đọc giao diện của bạn ra sao.
Ghép được với nhiều mô hình ngôn ngữ
Theo README, OmniTool hỗ trợ sẵn một số mô hình của OpenAI, DeepSeek, Qwen và Anthropic để làm bộ não ra quyết định.
Tận dụng OmniParser vào việc gì?
Lập trình viên làm agent
Làm nền cho trợ lý điều khiển máy tính
Dùng OmniParser làm bước hiểu màn hình, rồi để mô hình ngôn ngữ chọn hành động như bấm hay gõ.
Sinh viên, nhà nghiên cứu AI
Nghiên cứu và thử nghiệm giao diện
Đọc bài báo, chạy lại các ví dụ, so sánh các phiên bản mô hình để hiểu cách AI nhận biết giao diện.
Đội AI trong doanh nghiệp
Tạo dữ liệu huấn luyện cho agent riêng
README nhắc đến việc ghi lại hành trình thao tác cục bộ để tạo dữ liệu huấn luyện cho agent theo lĩnh vực riêng.
Người kiểm thử phần mềm
Kiểm tra giao diện phần mềm nội bộ
Thử xem một công cụ AI có nhận ra các nút trên phần mềm nội bộ của công ty không, trước khi quyết định tự động hoá thao tác.
Cần chuẩn bị gì?
- Python 3.12 và conda theo hướng dẫn cài của README.
- Công cụ huggingface-cli để tải trọng số mô hình, cùng dung lượng ổ cứng đủ cho các file mô hình.
- README không nêu cấu hình GPU tối thiểu; nhìn chung mô hình thị giác chạy nhanh hơn rất nhiều khi có card đồ hoạ NVIDIA, hãy kiểm tra tài liệu và trang mô hình trước khi chuẩn bị máy.
- Nếu muốn ghép với mô hình ngôn ngữ để điều khiển máy thật, bạn cần thêm khoá API hoặc mô hình tự chạy, và nên làm trong máy ảo.
Hướng dẫn cài đặt chi tiết
Cài trên Python (conda)
Clone mã nguồn về máy rồi tạo môi trường conda riêng với Python 3.12 và cài các thư viện cần thiết.
git clone https://github.com/microsoft/OmniParser.git cd OmniParser conda create -n "omni" python==3.12 conda activate omni pip install -r requirements.txtTải bộ phát hiện vùng tương tác (icon_detect_v3) từ pull request trên Hugging Face theo đúng lệnh README. README ghi sau khi PR được gộp, bước này sẽ tự động ở lần dùng đầu tiên.
huggingface-cli download microsoft/OmniParser-v2.0 icon_detect_v3/model.pt \ --revision refs/pr/37 --local-dir weightsTải tiếp các file của mô hình chú thích biểu tượng vào thư mục weights rồi đổi tên thư mục như README hướng dẫn.
for f in icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights; done mv weights/icon_caption weights/icon_caption_florenceLệnh trên viết theo bash, nên trên Windows hãy chạy trong Git Bash hoặc WSL. Nếu không quen, bạn có thể thử bản demo trực tuyến trên Hugging Face Spaces do Microsoft cung cấp trước khi cài.
Dùng thử lần đầu
Mở thư mục dự án trong môi trường conda vừa tạo và chạy trang demo Gradio.
python gradio_demo.pyMở địa chỉ mà Terminal in ra trong trình duyệt, rồi tải lên một ảnh chụp màn hình phần mềm bạn hay dùng.
Quan sát các khung và nhãn mà mô hình vẽ lên ảnh, so với những gì bạn nhìn thấy, xem nó bỏ sót hay nhận nhầm chỗ nào.
Mở file notebook demo.ipynb trong Jupyter để xem cách gọi OmniParser từ code Python, sau đó thử với ảnh của riêng bạn.
Mẹo dùng hay
- Dùng ảnh chụp màn hình rõ nét, độ phân giải đủ lớn; biểu tượng quá nhỏ hoặc ảnh mờ dễ bị bỏ sót.
- Nên thử trước trên bản demo Hugging Face Spaces để biết kết quả có đáng công cài hay không.
- Đọc phần giấy phép của từng trọng số: README nói detector icon_detect_v3 dựa trên bản YOLOv9 giấy phép MIT, còn các detector cũ dựa trên Ultralytics vẫn giữ giấy phép AGPL.
- Khi ghép với agent điều khiển máy thật, hãy chạy trong máy ảo để lỡ AI bấm nhầm cũng không ảnh hưởng máy chính.
Lưu ý và hạn chế
- Đây là công cụ nghiên cứu cho lập trình viên, không có giao diện cài đặt như phần mềm thường; phải quen với Python, conda và Terminal.
- OmniParser chỉ hiểu màn hình, việc ra quyết định bấm gì vẫn cần một mô hình ngôn ngữ riêng và thường tốn phí API.
- Cho AI tự điều khiển máy tính có thể gây thao tác sai hoặc lộ dữ liệu trên màn hình; chỉ dùng trên máy ảo hoặc môi trường thử, đừng để nó thao tác với tài khoản ngân hàng hay dữ liệu nhạy cảm.
- Một số phần như tài liệu OmniTool README vẫn ghi là đang hoàn thiện.
Câu hỏi thường gặp
OmniParser có miễn phí không?
Có, mã nguồn mở và tải trọng số miễn phí trên Hugging Face. Chi phí phát sinh chỉ khi bạn nối với mô hình ngôn ngữ trả phí hoặc dùng máy chủ có GPU.
Người không biết lập trình có dùng được không?
Khá khó. Bạn có thể thử bản demo trên Hugging Face Spaces để xem nó làm gì, nhưng tự cài và ghép vào agent cần biết Python.
Nó có tự điều khiển máy tính của tôi không?
Bản thân OmniParser chỉ phân tích ảnh chụp màn hình. Muốn điều khiển máy phải ghép với một agent hoặc OmniTool, và README mô tả OmniTool điều khiển một máy ảo Windows 11.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/microsoft/OmniParser.gitRepo tương tự nên xem
Browser Use
browser-use / browser-use
Cho AI tự điều khiển trình duyệt Chrome để làm việc trên web như người thật, viết bằng Python
Playwright MCP
microsoft / playwright-mcp
Cho trợ lý AI như Claude, Copilot, Cursor tự mở trình duyệt, bấm nút, điền form và đọc trang web giúp bạn
OpenHands (Agent Canvas)
OpenHands / OpenHands
Bảng điều khiển tự cài để giao việc lập trình cho các agent AI như OpenHands, Claude Code hay Codex