Trải nghiệm khi dùng MiniCPM-V và MiniCPM-o
Cách nhanh nhất để thấy mô hình làm gì là mở trang demo trực tuyến mà README đặt link: bạn tải một tấm ảnh lên, hỏi bằng lời "trong ảnh có gì" hoặc đưa ảnh hoá đơn, bảng biểu rồi nhờ đọc chữ. Không cần cài gì, nhưng bạn nên tránh đưa ảnh riêng tư lên demo công khai.
Muốn chạy trên máy mình, README liệt kê nhiều đường: Hugging Face Transformers, vLLM, SGLang, llama.cpp, và cả Ollama (trang openbmb/minicpm-v4.7 và thư viện minicpm-v4.6 đều có). Mô hình MiniCPM-V 4.7 có hai cỡ là 35B-A3B (MoE) và 1B; bản 1B gọn nhẹ hơn nhiều, còn MoE cần máy mạnh. Các bản lượng tử hoá GGUF giúp giảm bộ nhớ và chạy được trên CPU theo mô tả của README.
Nếu bạn quan tâm đến trò chuyện bằng giọng nói, MiniCPM-o 4.5 (9B) là mô hình liền mạch nhận video và âm thanh liên tục rồi phát ra giọng nói lẫn văn bản. README nói giọng hiện hỗ trợ tiếng Anh và tiếng Trung, nên với tiếng Việt bạn nên kỳ vọng thấp và tự thử trước.
Tính năng nổi bật
Hiểu ảnh, tài liệu và video
Mô tả ảnh, đọc chữ trong ảnh và tài liệu, trả lời câu hỏi về nội dung hình; bộ MiniCPM-OCR mới còn chuyên cho việc đọc tài liệu.
Hai cỡ mô hình cho thiết bị khác nhau
MiniCPM-V 4.7 gồm bản 1B nhẹ và bản 35B-A3B dạng MoE; mục tiêu là chạy mượt ngay trên thiết bị người dùng.
Hỗ trợ điện thoại và nhiều chip
README ghi hỗ trợ iOS, Android, HarmonyOS và các nền tảng chip của Intel, AMD, Arm, Rockchip và Houmo.
Nói chuyện thời gian thực với MiniCPM-o
Bản 9B nhận video, âm thanh liên tục và phản hồi bằng giọng nói lẫn chữ cùng lúc.
Nhiều cách triển khai và có cookbook
Có hướng dẫn cho Transformers, vLLM, SGLang, llama.cpp, Ollama, tinh chỉnh bằng LLaMA-Factory và bộ công thức Cookbook kèm theo.
Giấy phép Apache-2.0
README ghi mã nguồn và trọng số mô hình phát hành theo Apache-2.0, thuận lợi cho nghiên cứu và sản phẩm.
Tận dụng MiniCPM-V và MiniCPM-o vào việc gì?
Kế toán, chủ shop online
Đọc hoá đơn, bảng biểu từ ảnh chụp
Chụp hoá đơn, bảng giá hay đơn hàng rồi nhờ mô hình trích tên hàng, số tiền thành văn bản để dán vào Excel; luôn đối chiếu lại số liệu quan trọng.
Người làm nội dung, blogger
Mô tả ảnh cho nội dung và SEO
Nhờ mô hình gợi ý chú thích ảnh, văn bản thay thế (alt text) và mô tả sản phẩm từ ảnh chụp.
Học sinh, sinh viên
Học cùng ảnh minh hoạ
Chụp biểu đồ, sơ đồ hoặc đề bài có hình rồi hỏi giải thích từng bước.
Lập trình viên di động
Ứng dụng AI chạy trên thiết bị
Thử tích hợp mô hình nhỏ vào ứng dụng Android hoặc iOS để xử lý ảnh mà dữ liệu không rời khỏi máy.
Đội làm sản phẩm AI
Xây trợ lý nói chuyện
Dùng MiniCPM-o làm nền cho trợ lý nhìn và nghe theo thời gian thực, sau đó đánh giá chất lượng giọng với ngôn ngữ cần dùng.
Cần chuẩn bị gì?
- Dùng thử: chỉ cần trình duyệt để mở trang demo trên Hugging Face.
- Chạy cục bộ: Python và GPU phù hợp nếu dùng Transformers; hoặc dùng bản GGUF với llama.cpp/Ollama để chạy cả bằng CPU.
- Bản 1B nhỏ gọn hơn rất nhiều so với 35B-A3B; README không nêu bảng VRAM cụ thể, hãy xem trang mô hình tương ứng.
- Cần Internet và vài GB trở lên ổ cứng để tải trọng số.
Hướng dẫn cài đặt chi tiết
Cài trên Dùng thử trên web
Mở bản demo MiniCPM-V 4.7 trên Hugging Face Spaces, tải ảnh lên và đặt câu hỏi. Không nên tải ảnh nhạy cảm lên demo công khai.
https://huggingface.co/spaces/openbmb/MiniCPM-V-4.7-DemoBản demo MiniCPM-o 4.5 (có giọng nói) nằm ở trang riêng của nhóm phát triển.
https://minicpmo45.modelbest.cn
Cài trên Ollama
Cài Ollama từ trang chính thức nếu chưa có.
https://ollama.com/downloadMở trang mô hình của nhóm OpenBMB trên Ollama để xem tên và lệnh chạy chính xác của bản 4.7, vì tên và hậu tố kích cỡ có thể thay đổi theo bản phát hành.
https://ollama.com/openbmb/minicpm-v4.7Bản MiniCPM-V 4.6 cũng có trong thư viện Ollama chính thức, xem trang này để biết lệnh chạy.
https://ollama.com/library/minicpm-v4.6
Cài trên Python / chính thức
Với lập trình viên: mở tài liệu hướng dẫn suy luận bằng Transformers của MiniCPM-V 4.7 ngay trong repo (thư mục docs), có đoạn mã mẫu.
https://github.com/OpenBMB/MiniCPM-V/blob/main/docs/minicpm_v4dot7_en.mdMuốn chạy máy chủ có API, repo trỏ tới các công thức vLLM và SGLang trong bộ Cookbook.
https://github.com/OpenSQZ/MiniCPM-V-CookBookTrọng số tải ở tổ chức openbmb trên Hugging Face, gồm các bản chuẩn, lượng tử hoá AWQ/GPTQ và GGUF.
https://huggingface.co/openbmb
Dùng thử lần đầu
Mở bản demo, tải lên một tấm ảnh bất kỳ (ví dụ ảnh bàn làm việc) và hỏi: Trong ảnh có những vật gì?
Thử ảnh chứa chữ như menu quán cà phê hoặc hoá đơn và yêu cầu: Hãy liệt kê các món và giá thành một bảng.
Thử một ảnh biểu đồ hoặc đề bài toán có hình, nhờ mô hình giải thích từng bước, rồi tự kiểm tra lại đáp án.
Nếu muốn chạy trên máy mình, mở trang Ollama của bản 4.7 và làm theo lệnh được ghi ở đó, bắt đầu từ bản nhỏ nhất.
Mẹo dùng hay
- Bắt đầu với bản 1B hoặc bản lượng tử hoá nếu máy không mạnh, nâng cấp sau khi biết nhu cầu.
- Chụp ảnh rõ, đủ sáng và cắt đúng vùng cần đọc sẽ giúp đọc chữ chính xác hơn.
- Repo cập nhật rất nhanh với nhiều phiên bản (4.6, 4.7, o 4.5); luôn xem mục News ở đầu README để chọn bản mới nhất.
- README có API cho cả MiniCPM-V và MiniCPM-o nếu bạn không muốn tự chạy.
Lưu ý và hạn chế
- Đây là mô hình nhỏ so với các mô hình đóng lớn nhất; kết quả đọc ảnh có thể sai, nhất là chữ nhỏ, chữ viết tay và tiếng Việt có dấu.
- Giọng nói của MiniCPM-o được README nhắc tới cho tiếng Anh và tiếng Trung; tính năng nhân bản giọng chỉ nên dùng khi có sự đồng ý của chủ giọng và tuân theo luật.
- Đừng dùng mô hình để nhận diện hay theo dõi người trong ảnh khi chưa được phép; hãy tôn trọng quyền riêng tư và bản quyền hình ảnh.
Câu hỏi thường gặp
MiniCPM-V khác MiniCPM-o ở chỗ nào?
MiniCPM-V tập trung vào hiểu ảnh, tài liệu và video để trả lời bằng chữ. MiniCPM-o mở rộng thêm giọng nói và xử lý âm thanh, video theo thời gian thực.
Chạy được trên điện thoại hoặc laptop không?
README nói MiniCPM-V 4.7 hỗ trợ iOS, Android và HarmonyOS cùng nhiều chip, và bản GGUF chạy được bằng CPU. Tuy vậy cần tự kiểm tra từng thiết bị cụ thể.
Có miễn phí và dùng thương mại được không?
README ghi mã nguồn và trọng số phát hành theo Apache-2.0, nên miễn phí và thường dùng được cho thương mại; vẫn nên đọc file giấy phép trên Hugging Face của bản bạn dùng.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/OpenBMB/MiniCPM-V.gitRepo tương tự nên xem
Qwen3-VL
QwenLM / Qwen3-VL
Mô hình AI của Alibaba hiểu ảnh, video và tài liệu, đọc chữ 32 ngôn ngữ, có nhiều cỡ từ 2B đến 235B
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac