Chuyển đến nội dung

microsoft / OmniParser

OmniParser

Công cụ của Microsoft biến ảnh chụp màn hình thành danh sách nút bấm, ô nhập có nhãn để AI hiểu giao diện

OmniParser là bộ mô hình nghiên cứu của Microsoft dùng để đọc một ảnh chụp màn hình rồi liệt kê các thành phần có thể bấm hay nhập liệu, kèm mô tả chức năng của từng thành phần. Nó là một mảnh ghép cho những ai đang xây trợ lý AI điều khiển máy tính chỉ bằng cách nhìn màn hình. Đây là công cụ cho lập trình viên và nhà nghiên cứu, không phải phần mềm cài về bấm là dùng.

  • 25.625 sao
  • 2.241 fork
  • Jupyter Notebook
  • Cập nhật 2 ngày trước
  • CC-BY-4.0
Độ khó
Khó Dành cho người biết lập trình
Dạng
Mô hình AI, Thư viện lập trình
Chạy trên
Python, Windows, Linux
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng OmniParser

Bạn clone mã nguồn về, tạo môi trường Python bằng conda rồi cài các thư viện theo file requirements. Sau đó tải trọng số mô hình (các file mô hình đã huấn luyện) từ Hugging Face về thư mục weights, một bước README hướng dẫn bằng vài lệnh. Phần chuẩn bị này mất thời gian vì file mô hình khá nặng.

Khi mọi thứ sẵn sàng, bạn chạy bản demo Gradio để có một trang web nhỏ ngay trên máy: kéo ảnh chụp màn hình vào, và OmniParser vẽ các khung quanh từng nút, biểu tượng, ô nhập, kèm chú thích như đây là nút tìm kiếm hay đây là biểu tượng cài đặt. Bạn cũng có thể mở file notebook mẫu để xem cách gọi từ code.

Giá trị thật nằm ở bước tiếp theo: đưa kết quả đó cho một mô hình ngôn ngữ có khả năng nhìn ảnh để nó quyết định bấm vào đâu. Nhóm tác giả cũng có OmniTool, một cách điều khiển máy ảo Windows 11 bằng OmniParser cùng mô hình bạn chọn, nhưng phần này README ghi tài liệu vẫn đang hoàn thiện.

Tính năng nổi bật

Đọc giao diện chỉ bằng ảnh

Không cần truy cập mã nguồn của ứng dụng hay cây giao diện; chỉ cần ảnh chụp màn hình là đủ để tìm ra các phần tử có thể tương tác.

Gắn nhãn chức năng cho từng biểu tượng

Ngoài việc khoanh vùng, mô hình mô tả mỗi biểu tượng dùng để làm gì, giúp AI chọn đúng chỗ cần bấm.

Biết phần tử nào bấm được

Bản 1.5 trở đi dự đoán phần tử nào tương tác được, và phát hiện được các biểu tượng nhỏ chi tiết hơn.

Chạy thử bằng demo Gradio

Một lệnh Python mở trang web demo cục bộ, thuận tiện để xem OmniParser đọc giao diện của bạn ra sao.

Ghép được với nhiều mô hình ngôn ngữ

Theo README, OmniTool hỗ trợ sẵn một số mô hình của OpenAI, DeepSeek, Qwen và Anthropic để làm bộ não ra quyết định.

Tận dụng OmniParser vào việc gì?

Lập trình viên làm agent

Làm nền cho trợ lý điều khiển máy tính

Dùng OmniParser làm bước hiểu màn hình, rồi để mô hình ngôn ngữ chọn hành động như bấm hay gõ.

Sinh viên, nhà nghiên cứu AI

Nghiên cứu và thử nghiệm giao diện

Đọc bài báo, chạy lại các ví dụ, so sánh các phiên bản mô hình để hiểu cách AI nhận biết giao diện.

Đội AI trong doanh nghiệp

Tạo dữ liệu huấn luyện cho agent riêng

README nhắc đến việc ghi lại hành trình thao tác cục bộ để tạo dữ liệu huấn luyện cho agent theo lĩnh vực riêng.

Người kiểm thử phần mềm

Kiểm tra giao diện phần mềm nội bộ

Thử xem một công cụ AI có nhận ra các nút trên phần mềm nội bộ của công ty không, trước khi quyết định tự động hoá thao tác.

Cần chuẩn bị gì?

  • Python 3.12 và conda theo hướng dẫn cài của README.
  • Công cụ huggingface-cli để tải trọng số mô hình, cùng dung lượng ổ cứng đủ cho các file mô hình.
  • README không nêu cấu hình GPU tối thiểu; nhìn chung mô hình thị giác chạy nhanh hơn rất nhiều khi có card đồ hoạ NVIDIA, hãy kiểm tra tài liệu và trang mô hình trước khi chuẩn bị máy.
  • Nếu muốn ghép với mô hình ngôn ngữ để điều khiển máy thật, bạn cần thêm khoá API hoặc mô hình tự chạy, và nên làm trong máy ảo.

Hướng dẫn cài đặt chi tiết

Cài trên Python (conda)

  1. Clone mã nguồn về máy rồi tạo môi trường conda riêng với Python 3.12 và cài các thư viện cần thiết.

    Terminal
    git clone https://github.com/microsoft/OmniParser.git
    cd OmniParser
    conda create -n "omni" python==3.12
    conda activate omni
    pip install -r requirements.txt
  2. Tải bộ phát hiện vùng tương tác (icon_detect_v3) từ pull request trên Hugging Face theo đúng lệnh README. README ghi sau khi PR được gộp, bước này sẽ tự động ở lần dùng đầu tiên.

    Terminal
    huggingface-cli download microsoft/OmniParser-v2.0 icon_detect_v3/model.pt \
      --revision refs/pr/37 --local-dir weights
  3. Tải tiếp các file của mô hình chú thích biểu tượng vào thư mục weights rồi đổi tên thư mục như README hướng dẫn.

    Terminal
    for f in icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights; done
    mv weights/icon_caption weights/icon_caption_florence
  4. Lệnh trên viết theo bash, nên trên Windows hãy chạy trong Git Bash hoặc WSL. Nếu không quen, bạn có thể thử bản demo trực tuyến trên Hugging Face Spaces do Microsoft cung cấp trước khi cài.

Dùng thử lần đầu

  1. Mở thư mục dự án trong môi trường conda vừa tạo và chạy trang demo Gradio.

    Terminal
    python gradio_demo.py
  2. Mở địa chỉ mà Terminal in ra trong trình duyệt, rồi tải lên một ảnh chụp màn hình phần mềm bạn hay dùng.

  3. Quan sát các khung và nhãn mà mô hình vẽ lên ảnh, so với những gì bạn nhìn thấy, xem nó bỏ sót hay nhận nhầm chỗ nào.

  4. Mở file notebook demo.ipynb trong Jupyter để xem cách gọi OmniParser từ code Python, sau đó thử với ảnh của riêng bạn.

Mẹo dùng hay

  • Dùng ảnh chụp màn hình rõ nét, độ phân giải đủ lớn; biểu tượng quá nhỏ hoặc ảnh mờ dễ bị bỏ sót.
  • Nên thử trước trên bản demo Hugging Face Spaces để biết kết quả có đáng công cài hay không.
  • Đọc phần giấy phép của từng trọng số: README nói detector icon_detect_v3 dựa trên bản YOLOv9 giấy phép MIT, còn các detector cũ dựa trên Ultralytics vẫn giữ giấy phép AGPL.
  • Khi ghép với agent điều khiển máy thật, hãy chạy trong máy ảo để lỡ AI bấm nhầm cũng không ảnh hưởng máy chính.

Lưu ý và hạn chế

  • Đây là công cụ nghiên cứu cho lập trình viên, không có giao diện cài đặt như phần mềm thường; phải quen với Python, conda và Terminal.
  • OmniParser chỉ hiểu màn hình, việc ra quyết định bấm gì vẫn cần một mô hình ngôn ngữ riêng và thường tốn phí API.
  • Cho AI tự điều khiển máy tính có thể gây thao tác sai hoặc lộ dữ liệu trên màn hình; chỉ dùng trên máy ảo hoặc môi trường thử, đừng để nó thao tác với tài khoản ngân hàng hay dữ liệu nhạy cảm.
  • Một số phần như tài liệu OmniTool README vẫn ghi là đang hoàn thiện.

Câu hỏi thường gặp

OmniParser có miễn phí không?

Có, mã nguồn mở và tải trọng số miễn phí trên Hugging Face. Chi phí phát sinh chỉ khi bạn nối với mô hình ngôn ngữ trả phí hoặc dùng máy chủ có GPU.

Người không biết lập trình có dùng được không?

Khá khó. Bạn có thể thử bản demo trên Hugging Face Spaces để xem nó làm gì, nhưng tự cài và ghép vào agent cần biết Python.

Nó có tự điều khiển máy tính của tôi không?

Bản thân OmniParser chỉ phân tích ảnh chụp màn hình. Muốn điều khiển máy phải ghép với một agent hoặc OmniTool, và README mô tả OmniTool điều khiển một máy ảo Windows 11.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/microsoft/OmniParser.git

Repo tương tự nên xem

AI Agent & tự động hoá121K

Browser Use

browser-use / browser-use

Cho AI tự điều khiển trình duyệt Chrome để làm việc trên web như người thật, viết bằng Python

KhóWindowsmacOSLinuxPython
MCP: nối AI với công cụ39,7K

Playwright MCP

microsoft / playwright-mcp

Cho trợ lý AI như Claude, Copilot, Cursor tự mở trình duyệt, bấm nút, điền form và đọc trang web giúp bạn

VừaNode.jsWindowsmacOSLinux
AI Agent & tự động hoá93,6K

OpenHands (Agent Canvas)

OpenHands / OpenHands

Bảng điều khiển tự cài để giao việc lập trình cho các agent AI như OpenHands, Claude Code hay Codex

KhóWindowsmacOSLinuxDocker+1

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: AI Agent & tự động hoá

AI Agent & tự động hoá395K

OpenClaw

openclaw / openclaw

Trợ lý AI chạy trên máy bạn và trả lời ngay trong Telegram, WhatsApp, Discord, Slack và nhiều app chat khác

VừaWindowsmacOSLinuxNode.js+1
AI Agent & tự động hoá264K

Hermes Agent

NousResearch / hermes-agent

Trợ lý AI dạng agent của Nous Research biết tự học kỹ năng mới, dùng trong Terminal hoặc Telegram

VừaWindowsmacOSLinuxAndroid
AI Agent & tự động hoá211K

n8n

n8n-io / n8n

Tự động hoá công việc bằng sơ đồ kéo thả, nối hơn 1500 ứng dụng và cả AI, tự cài trên máy chủ riêng

VừaDockerWebLinuxWindows+1
AI Agent & tự động hoá202K

Firecrawl

firecrawl / firecrawl

API biến trang web thành markdown hoặc JSON sạch để nạp cho AI, có thể dùng bản cloud hoặc tự cài

VừaWebPythonNode.jsDocker
AI Agent & tự động hoá188K

AutoGPT

Significant-Gravitas / AutoGPT

Nền tảng tạo đội trợ lý AI chuyên biệt và quy trình tự động, dùng bản cloud hoặc tự cài bằng Docker

VừaWebDockerWindowsmacOS+1
AI Agent & tự động hoá161K

Dify

langgenius / dify

Nền tảng kéo thả để dựng ứng dụng AI, chatbot hỏi đáp tài liệu và quy trình tự động, tự cài bằng Docker

VừaDockerWebLinuxWindows+1

Xem cả 28 repo AI Agent & tự động hoá Về Kho Repo