Trải nghiệm khi dùng Qwen3-VL
Muốn xem trước khi cài, bạn mở trang Qwen Chat hoặc bản demo trên Hugging Face mà README giới thiệu. Bạn đăng ảnh một tờ hoá đơn, bảng giá hay sơ đồ rồi hỏi bằng tiếng Việt, mô hình sẽ đọc và giải thích. Với dữ liệu riêng tư, hãy cân nhắc trước khi tải lên dịch vụ trực tuyến.
Muốn tự chạy, README hướng dẫn dùng Python: cài transformers bản từ 4.57.0 trở lên rồi chạy đoạn mã mẫu để mô tả ảnh. Repo cũng có sẵn một web UI chạy cục bộ (web_demo_mm.py) mở ra địa chỉ dạng 127.0.0.1 để bạn kéo ảnh vào và chat trên trình duyệt. Đây vẫn là việc cho người biết dùng Python và có GPU, không phải ứng dụng bấm đúp.
Điểm hay là bộ cookbook dưới dạng Jupyter notebook có nút mở trên Colab: nhận diện đồ vật, đọc tài liệu dài, định vị vật thể, hiểu video, điều khiển giao diện và sinh code từ ảnh. Bạn có thể đọc và chạy thử từng bài để biết mô hình giỏi gì.
Tính năng nổi bật
Đọc chữ trong ảnh nhiều ngôn ngữ
OCR hỗ trợ 32 ngôn ngữ, chịu được ảnh thiếu sáng, mờ hoặc nghiêng theo README, hợp với hoá đơn và tài liệu chụp bằng điện thoại.
Hiểu video dài
Ngữ cảnh gốc 256K mở rộng được tới 1 triệu token, theo mô tả có thể xử lý video dài hàng giờ và chỉ ra thời điểm xảy ra sự kiện.
Tác tử thị giác
Nhận diện nút bấm, biểu tượng trên giao diện máy tính hoặc điện thoại để hỗ trợ tự động hoá thao tác.
Từ ảnh ra mã
Sinh Draw.io, HTML, CSS, JavaScript từ ảnh chụp hay video giao diện.
Nhiều kích cỡ và hai kiểu
Có các cỡ dày đặc và MoE từ 2B, 4B, 8B, 32B đến 30B-A3B, 235B-A22B, mỗi cỡ có bản Instruct và bản Thinking.
Cookbook có Colab
Hàng chục notebook ví dụ về nhận diện, tài liệu, video, định vị 2D và 3D, giúp học nhanh khả năng của mô hình.
Tận dụng Qwen3-VL vào việc gì?
Kế toán, chủ shop
Số hoá hoá đơn, biên nhận
Chụp giấy tờ rồi nhờ mô hình trích thông tin quan trọng thành bảng; luôn kiểm tra lại số tiền và mã số thuế.
Sinh viên, người đi làm
Tóm tắt video bài giảng hoặc cuộc họp
Đưa video dài và hỏi các đoạn quan trọng nằm ở thời điểm nào.
Lập trình viên web, nhà thiết kế
Biến ảnh thiết kế thành giao diện
Chụp mockup rồi nhờ sinh mã HTML và CSS làm bản nháp ban đầu.
Nhân viên văn phòng
Hỏi đáp tài liệu có hình
Hỏi về nội dung PDF có bảng, biểu đồ, sơ đồ mà văn bản thuần không đủ thông tin.
Đội nghiên cứu AI
Thử nghiệm tác tử điều khiển máy tính
Chạy cookbook Computer-Use và Mobile Agent để hiểu cách mô hình định vị thành phần giao diện, chỉ nên thử trong môi trường an toàn.
Cần chuẩn bị gì?
- Python và thư viện transformers từ 4.57.0 trở lên.
- GPU là cần thiết cho hầu hết các cỡ; README không nêu bảng VRAM đang áp dụng cho Qwen3-VL, hãy xem trang từng mô hình trên Hugging Face.
- Muốn xử lý video cần thêm gói qwen-vl-utils; README khuyên dùng flash-attn để tiết kiệm bộ nhớ khi có nhiều ảnh hoặc video.
- Cần Internet và ổ cứng lớn để tải trọng số; người dùng ở Trung Quốc được README khuyên dùng ModelScope.
Hướng dẫn cài đặt chi tiết
Cài trên Dùng thử không cài
Mở Qwen Chat hoặc bản demo trên Hugging Face Spaces để thử đăng ảnh và hỏi. Hai đường dẫn nằm ở phần đầu README của repo.
https://chat.qwenlm.ai/Muốn chạy thử cookbook không cần máy mạnh, mở các notebook trong thư mục cookbooks của repo bằng Google Colab.
https://github.com/QwenLM/Qwen3-VL/tree/main/cookbooks
Cài trên Python (Transformers)
Tạo môi trường ảo Python rồi cài transformers bản mới như README yêu cầu.
pip install "transformers>=4.57.0"Muốn xử lý video, cài thêm gói tiện ích hình ảnh của Qwen.
pip install qwen-vl-utils==0.0.14Dùng đoạn mã mẫu trong README (phần Quickstart) với AutoModelForImageTextToText và AutoProcessor để mô tả một bức ảnh. Chọn mô hình nhỏ vừa GPU của bạn, ví dụ bản 2B, 4B hoặc 8B, thay cho bản 235B dùng trong ví dụ.
Cài trên Web UI cục bộ
Lấy mã nguồn về và vào thư mục repo.
git clone https://github.com/QwenLM/Qwen3-VL.git cd Qwen3-VLCài thư viện cho giao diện web.
pip install -r requirements_web_demo.txtChạy giao diện, thay đường dẫn bằng thư mục chứa trọng số bạn đã tải. Terminal sẽ in ra một địa chỉ cục bộ để mở trong trình duyệt.
python web_demo_mm.py -c /your/path/to/qwen3vl/weight
Dùng thử lần đầu
Mở trang demo, tải một tấm ảnh chụp menu hoặc hoá đơn và gõ yêu cầu: Hãy liệt kê tên món và giá, trình bày dạng bảng.
Thử ảnh biểu đồ cột và hỏi: Cột nào cao nhất, tăng trưởng thế nào giữa các cột? rồi so với số liệu thật của biểu đồ.
Mở một notebook trong thư mục cookbooks (ví dụ về OCR hoặc phân tích tài liệu) trên Colab và chạy từng ô để xem cách gọi mô hình.
Nếu có GPU, làm theo mục Web UI để chạy trên máy và so sánh kết quả giữa các cỡ mô hình.
Mẹo dùng hay
- Bắt đầu với cỡ 2B, 4B hoặc 8B nếu bạn chỉ có một GPU thông thường; cỡ 235B dành cho cụm máy chủ.
- Bản Instruct trả lời nhanh, bản Thinking suy luận kỹ hơn cho bài toán và logic nhưng chậm hơn.
- Ảnh gốc độ phân giải cao giúp đọc chữ nhỏ tốt hơn, nhưng cũng tốn bộ nhớ hơn.
- Có bản FP8 của một số mô hình lớn để tiết kiệm bộ nhớ khi triển khai bằng vLLM.
Lưu ý và hạn chế
- Không phải ứng dụng cài sẵn: bạn cần Python, GPU và kinh nghiệm chạy mô hình, nên hợp với người có chút kỹ thuật.
- Khả năng điều khiển máy tính và điện thoại nên thử trong môi trường cách ly; không giao cho tác tử quyền thao tác tài khoản hay thanh toán thật.
- Không dùng để nhận diện người, theo dõi hay xử lý ảnh của người khác khi chưa được phép; hãy tuân thủ quy định về quyền riêng tư và bản quyền hình ảnh.
Câu hỏi thường gặp
Qwen3-VL khác Qwen3 thường ở điểm nào?
Qwen3 chủ yếu xử lý văn bản, còn Qwen3-VL xử lý được thêm ảnh và video, nên đọc được tài liệu chụp, biểu đồ và nội dung video.
Có miễn phí và dùng thương mại được không?
Repo ghi giấy phép Apache-2.0; tuy nhiên trọng số có thể có điều khoản riêng trên trang Hugging Face của từng mô hình, hãy kiểm tra trước khi dùng thương mại.
Đọc chữ tiếng Việt trong ảnh có tốt không?
README nói OCR hỗ trợ 32 ngôn ngữ nhưng không liệt kê chi tiết hay đưa số liệu riêng cho tiếng Việt; hãy tự thử với ảnh thật của bạn trước.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/QwenLM/Qwen3-VL.gitRepo tương tự nên xem
MiniCPM-V và MiniCPM-o
OpenBMB / MiniCPM-V
Mô hình AI nhìn ảnh, nghe tiếng và nói chuyện, nhỏ gọn để chạy trên máy cá nhân và điện thoại
Qwen3
QwenLM / Qwen3
Dòng mô hình AI mở của Alibaba Qwen, nhiều cỡ từ 0,6 tỷ đến 235 tỷ tham số, chạy được trên laptop qua Ollama
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh