Trải nghiệm khi dùng MNN (Alibaba)
Với người dùng bình thường, MNN dễ chạm tới nhất qua ứng dụng MNN Chat. Trên Android bạn tải file APK ở trang tài liệu hoặc cài từ Google Play, mở ứng dụng, duyệt danh sách mô hình được hỗ trợ, tải một mô hình về rồi chat trực tiếp. Lịch sử trò chuyện nằm ở thanh bên để xem lại.
README của ứng dụng Android nói bản này mới được kiểm thử chủ yếu trên OnePlus 13 và Xiaomi 14 Ultra, và cảnh báo máy cấu hình thấp có thể chạy chậm, kém ổn định hoặc không chạy nổi. Vì vậy hãy kỳ vọng thực tế: máy mạnh mới dùng thoải mái, máy bình dân nên chọn mô hình thật nhỏ.
Với lập trình viên, MNN là cả một hệ sinh thái: suy luận và huấn luyện mô hình trên thiết bị, MNN-LLM cho mô hình ngôn ngữ, MNN-Diffusion cho tạo ảnh, cùng các ứng dụng mẫu như trợ lý ảo 3D TaoAvatar chạy hoàn toàn trên máy. Tài liệu chi tiết nằm ở trang mnn-docs.readthedocs.io.
Tính năng nổi bật
Ứng dụng MNN Chat đa phương thức
Chat văn bản, hỏi về ảnh, chép lời âm thanh và tạo ảnh bằng mô hình diffusion, tất cả chạy trên điện thoại theo README ứng dụng.
Chạy offline, riêng tư
Mô hình chạy hoàn toàn trên thiết bị và README nói không có thông tin nào được tải lên máy chủ bên ngoài.
Hỗ trợ nhiều họ mô hình
Qwen, Gemma, Llama, DeepSeek, Phi, Baichuan, Yi, InternLM... và README mục tin tức nhắc cả Qwen3.5, Qwen3-VL.
Công cụ cho lập trình viên
Engine nhỏ gọn cho Android, iOS và nhiều thiết bị nhúng, có MNN-LLM và MNN-Diffusion để nhúng AI vào ứng dụng.
Tăng tốc theo phần cứng
Hỗ trợ nhiều backend như CPU, OpenCL, và bản 3.6.1 thêm backend Hexagon cho DSP của Qualcomm theo mục tin tức.
Mô hình nhỏ cho điện thoại
Nhóm MNN công bố MNN-Pocket-0.3B, mô hình 300 triệu tham số thiết kế cho ứng dụng di động, giấy phép Apache 2.0.
Tận dụng MNN (Alibaba) vào việc gì?
Người dùng Android, iPhone
Chat với AI trên điện thoại khi không có mạng
Tải một mô hình nhỏ vào MNN Chat và dùng để soạn tin, hỏi nhanh kiến thức ngay cả khi mất sóng.
Sinh viên, dân văn phòng
Chép lời và hỏi ảnh bằng mô hình cục bộ
Dùng tính năng âm thanh và ảnh của ứng dụng để ghi chú buổi học hoặc mô tả ảnh mà không đưa dữ liệu lên đám mây.
Lập trình viên mobile
Nhúng AI vào ứng dụng di động
Dùng MNN-LLM làm bộ máy suy luận trong ứng dụng của bạn, đặc biệt khi cần hỗ trợ cả Android và iOS.
Kỹ sư IoT
Thử nghiệm AI trên thiết bị nhúng
MNN nhắm cả thiết bị IoT, hợp để đưa các mô hình nhỏ vào phần cứng hạn chế.
Người thích thử nghiệm
Tạo ảnh bằng mô hình diffusion trên điện thoại
Ứng dụng có mục tạo ảnh từ chữ; kết quả phụ thuộc cấu hình máy và mô hình tải về.
Cần chuẩn bị gì?
- Android hoặc iOS cho ứng dụng MNN Chat; README Android cảnh báo máy cấu hình thấp có thể chạy chậm hoặc lỗi.
- Dung lượng trống để lưu mô hình tải về, tuỳ mô hình bạn chọn.
- Muốn tự build: Android Studio và NDK đúng phiên bản trong README, hoặc CMake cho các nền tảng khác.
- Cần Internet để tải mô hình lần đầu.
Hướng dẫn cài đặt chi tiết
Cài trên Android
Cách chính thức dễ nhất là cài từ Google Play theo địa chỉ dưới đây.
https://play.google.com/store/apps/details?id=com.alibaba.mnnllm.android.releaseNếu không dùng Google Play, vào phần Releases của README ứng dụng Android trong repo MNN để tải file APK mới nhất. Chỉ tải từ trang chính thức của dự án.
https://github.com/alibaba/MNN/blob/master/apps/Android/MnnLlmChat/README.mdMở ứng dụng, duyệt danh sách mô hình, tải một mô hình nhỏ rồi bắt đầu chat.
Cài trên iPhone
Ứng dụng iOS có tài liệu riêng trong thư mục apps/iOS/MNNLLMChat của repo. Mở README đó để xem cách cài và build.
https://github.com/alibaba/MNN/blob/master/apps/iOS/MNNLLMChat/README.mdNếu README nêu link cửa hàng thì cài như ứng dụng thường, còn không bạn sẽ phải tự build bằng Xcode.
Cài trên Tự build (lập trình viên)
Clone repo MNN về máy.
git clone https://github.com/alibaba/MNN.gitLàm theo hướng dẫn trong tài liệu MNN-LLM để biên dịch với tuỳ chọn hỗ trợ mô hình ngôn ngữ, và hướng dẫn riêng cho từng nền tảng.
https://mnn-docs.readthedocs.io/en/latest/transformers/llm.htmlVới ứng dụng Android, README ứng dụng nêu các bước build thư viện bằng NDK rồi cài bản debug bằng Android Studio.
Dùng thử lần đầu
Cài MNN Chat trên điện thoại và mở lên.
Vào danh sách mô hình, chọn một mô hình nhỏ và tải về qua Wi-Fi.
Chat thử vài câu tiếng Việt ngắn như nhờ viết lại một tin nhắn, rồi thử tính năng hỏi về ảnh nếu mô hình bạn tải có hỗ trợ.
Nếu máy chạy chậm hoặc ứng dụng bị thoát đột ngột, chuyển sang mô hình nhỏ hơn, theo cảnh báo của README về máy cấu hình thấp.
Mẹo dùng hay
- Bắt đầu với mô hình nhỏ, vì README nói rõ thiết bị cấu hình thấp có thể không chịu nổi mô hình lớn.
- Lập trình viên nên đọc trang tài liệu MNN-LLM và hướng dẫn chuyển đổi mô hình trước khi tự đóng gói.
- Theo dõi mục tin tức của README để biết ứng dụng vừa hỗ trợ thêm mô hình nào.
Lưu ý và hạn chế
- Tài liệu và nhiều trang mô tả viết chủ yếu bằng tiếng Anh và tiếng Trung, người dùng Việt có thể phải tự dịch.
- Ứng dụng Android mới được kiểm thử trên vài máy cao cấp, độ ổn định trên máy khác không được đảm bảo.
- Nhiều con số hiệu năng trong README do chính nhóm dự án đo; kết quả trên máy của bạn có thể khác.
Câu hỏi thường gặp
MNN có miễn phí không?
Có, mã nguồn mở dưới giấy phép Apache 2.0. Ứng dụng MNN Chat cũng cho tải miễn phí.
MNN khác gì llama.cpp?
llama.cpp tập trung chạy mô hình ngôn ngữ ở định dạng GGUF. MNN là framework học sâu tổng quát của Alibaba, có thêm MNN-LLM và MNN-Diffusion, mạnh ở việc đưa mô hình lên điện thoại và thiết bị nhúng.
Máy yếu có chạy được không?
README cảnh báo máy cấu hình thấp có thể gặp chậm, ứng dụng không ổn định hoặc không chạy được. Hãy thử mô hình rất nhỏ trước.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/alibaba/MNN.gitRepo tương tự nên xem
Google AI Edge Gallery
google-ai-edge / gallery
Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư
PocketPal AI
a-ghorbani / pocketpal-ai
Trợ lý AI chạy hoàn toàn trên điện thoại, không cần tài khoản, không cần Internet sau khi tải mô hình
MLC LLM
mlc-ai / mlc-llm
Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt