Chuyển đến nội dung

alibaba / MNN

MNN (Alibaba)

Bộ máy học sâu gọn nhẹ của Alibaba, có ứng dụng MNN Chat chạy AI offline ngay trên điện thoại

MNN là framework học sâu nhẹ và nhanh do Alibaba phát triển, đã được dùng trong hàng chục ứng dụng của tập đoàn như Taobao, Tmall, Youku, DingTalk. Phần MNN-LLM cho phép chạy mô hình ngôn ngữ lớn ngay trên điện thoại, máy tính và thiết bị IoT. Người dùng thường có thể thử qua ứng dụng MNN Chat cho Android và iOS, còn lập trình viên dùng MNN để nhúng AI vào ứng dụng của mình.

  • 16.534 sao
  • 2.534 fork
  • C++
  • Cập nhật 3 ngày trước
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Ứng dụng điện thoại, Thư viện lập trình
Chạy trên
Android, iOS, Linux
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng MNN (Alibaba)

Với người dùng bình thường, MNN dễ chạm tới nhất qua ứng dụng MNN Chat. Trên Android bạn tải file APK ở trang tài liệu hoặc cài từ Google Play, mở ứng dụng, duyệt danh sách mô hình được hỗ trợ, tải một mô hình về rồi chat trực tiếp. Lịch sử trò chuyện nằm ở thanh bên để xem lại.

README của ứng dụng Android nói bản này mới được kiểm thử chủ yếu trên OnePlus 13 và Xiaomi 14 Ultra, và cảnh báo máy cấu hình thấp có thể chạy chậm, kém ổn định hoặc không chạy nổi. Vì vậy hãy kỳ vọng thực tế: máy mạnh mới dùng thoải mái, máy bình dân nên chọn mô hình thật nhỏ.

Với lập trình viên, MNN là cả một hệ sinh thái: suy luận và huấn luyện mô hình trên thiết bị, MNN-LLM cho mô hình ngôn ngữ, MNN-Diffusion cho tạo ảnh, cùng các ứng dụng mẫu như trợ lý ảo 3D TaoAvatar chạy hoàn toàn trên máy. Tài liệu chi tiết nằm ở trang mnn-docs.readthedocs.io.

Tính năng nổi bật

Ứng dụng MNN Chat đa phương thức

Chat văn bản, hỏi về ảnh, chép lời âm thanh và tạo ảnh bằng mô hình diffusion, tất cả chạy trên điện thoại theo README ứng dụng.

Chạy offline, riêng tư

Mô hình chạy hoàn toàn trên thiết bị và README nói không có thông tin nào được tải lên máy chủ bên ngoài.

Hỗ trợ nhiều họ mô hình

Qwen, Gemma, Llama, DeepSeek, Phi, Baichuan, Yi, InternLM... và README mục tin tức nhắc cả Qwen3.5, Qwen3-VL.

Công cụ cho lập trình viên

Engine nhỏ gọn cho Android, iOS và nhiều thiết bị nhúng, có MNN-LLM và MNN-Diffusion để nhúng AI vào ứng dụng.

Tăng tốc theo phần cứng

Hỗ trợ nhiều backend như CPU, OpenCL, và bản 3.6.1 thêm backend Hexagon cho DSP của Qualcomm theo mục tin tức.

Mô hình nhỏ cho điện thoại

Nhóm MNN công bố MNN-Pocket-0.3B, mô hình 300 triệu tham số thiết kế cho ứng dụng di động, giấy phép Apache 2.0.

Tận dụng MNN (Alibaba) vào việc gì?

Người dùng Android, iPhone

Chat với AI trên điện thoại khi không có mạng

Tải một mô hình nhỏ vào MNN Chat và dùng để soạn tin, hỏi nhanh kiến thức ngay cả khi mất sóng.

Sinh viên, dân văn phòng

Chép lời và hỏi ảnh bằng mô hình cục bộ

Dùng tính năng âm thanh và ảnh của ứng dụng để ghi chú buổi học hoặc mô tả ảnh mà không đưa dữ liệu lên đám mây.

Lập trình viên mobile

Nhúng AI vào ứng dụng di động

Dùng MNN-LLM làm bộ máy suy luận trong ứng dụng của bạn, đặc biệt khi cần hỗ trợ cả Android và iOS.

Kỹ sư IoT

Thử nghiệm AI trên thiết bị nhúng

MNN nhắm cả thiết bị IoT, hợp để đưa các mô hình nhỏ vào phần cứng hạn chế.

Người thích thử nghiệm

Tạo ảnh bằng mô hình diffusion trên điện thoại

Ứng dụng có mục tạo ảnh từ chữ; kết quả phụ thuộc cấu hình máy và mô hình tải về.

Cần chuẩn bị gì?

  • Android hoặc iOS cho ứng dụng MNN Chat; README Android cảnh báo máy cấu hình thấp có thể chạy chậm hoặc lỗi.
  • Dung lượng trống để lưu mô hình tải về, tuỳ mô hình bạn chọn.
  • Muốn tự build: Android Studio và NDK đúng phiên bản trong README, hoặc CMake cho các nền tảng khác.
  • Cần Internet để tải mô hình lần đầu.

Hướng dẫn cài đặt chi tiết

Cài trên Android

  1. Cách chính thức dễ nhất là cài từ Google Play theo địa chỉ dưới đây.

    Văn bản
    https://play.google.com/store/apps/details?id=com.alibaba.mnnllm.android.release
  2. Nếu không dùng Google Play, vào phần Releases của README ứng dụng Android trong repo MNN để tải file APK mới nhất. Chỉ tải từ trang chính thức của dự án.

    Văn bản
    https://github.com/alibaba/MNN/blob/master/apps/Android/MnnLlmChat/README.md
  3. Mở ứng dụng, duyệt danh sách mô hình, tải một mô hình nhỏ rồi bắt đầu chat.

Cài trên iPhone

  1. Ứng dụng iOS có tài liệu riêng trong thư mục apps/iOS/MNNLLMChat của repo. Mở README đó để xem cách cài và build.

    Văn bản
    https://github.com/alibaba/MNN/blob/master/apps/iOS/MNNLLMChat/README.md
  2. Nếu README nêu link cửa hàng thì cài như ứng dụng thường, còn không bạn sẽ phải tự build bằng Xcode.

Cài trên Tự build (lập trình viên)

  1. Clone repo MNN về máy.

    Terminal
    git clone https://github.com/alibaba/MNN.git
  2. Làm theo hướng dẫn trong tài liệu MNN-LLM để biên dịch với tuỳ chọn hỗ trợ mô hình ngôn ngữ, và hướng dẫn riêng cho từng nền tảng.

    Văn bản
    https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html
  3. Với ứng dụng Android, README ứng dụng nêu các bước build thư viện bằng NDK rồi cài bản debug bằng Android Studio.

Dùng thử lần đầu

  1. Cài MNN Chat trên điện thoại và mở lên.

  2. Vào danh sách mô hình, chọn một mô hình nhỏ và tải về qua Wi-Fi.

  3. Chat thử vài câu tiếng Việt ngắn như nhờ viết lại một tin nhắn, rồi thử tính năng hỏi về ảnh nếu mô hình bạn tải có hỗ trợ.

  4. Nếu máy chạy chậm hoặc ứng dụng bị thoát đột ngột, chuyển sang mô hình nhỏ hơn, theo cảnh báo của README về máy cấu hình thấp.

Mẹo dùng hay

  • Bắt đầu với mô hình nhỏ, vì README nói rõ thiết bị cấu hình thấp có thể không chịu nổi mô hình lớn.
  • Lập trình viên nên đọc trang tài liệu MNN-LLM và hướng dẫn chuyển đổi mô hình trước khi tự đóng gói.
  • Theo dõi mục tin tức của README để biết ứng dụng vừa hỗ trợ thêm mô hình nào.

Lưu ý và hạn chế

  • Tài liệu và nhiều trang mô tả viết chủ yếu bằng tiếng Anh và tiếng Trung, người dùng Việt có thể phải tự dịch.
  • Ứng dụng Android mới được kiểm thử trên vài máy cao cấp, độ ổn định trên máy khác không được đảm bảo.
  • Nhiều con số hiệu năng trong README do chính nhóm dự án đo; kết quả trên máy của bạn có thể khác.

Câu hỏi thường gặp

MNN có miễn phí không?

Có, mã nguồn mở dưới giấy phép Apache 2.0. Ứng dụng MNN Chat cũng cho tải miễn phí.

MNN khác gì llama.cpp?

llama.cpp tập trung chạy mô hình ngôn ngữ ở định dạng GGUF. MNN là framework học sâu tổng quát của Alibaba, có thêm MNN-LLM và MNN-Diffusion, mạnh ở việc đưa mô hình lên điện thoại và thiết bị nhúng.

Máy yếu có chạy được không?

README cảnh báo máy cấu hình thấp có thể gặp chậm, ứng dụng không ổn định hoặc không chạy được. Hãy thử mô hình rất nhỏ trước.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/alibaba/MNN.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân25,3K

Google AI Edge Gallery

google-ai-edge / gallery

Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư

DễAndroidiOSmacOS
Chạy AI trên máy cá nhân9,4K

PocketPal AI

a-ghorbani / pocketpal-ai

Trợ lý AI chạy hoàn toàn trên điện thoại, không cần tài khoản, không cần Internet sau khi tải mô hình

DễAndroidiOS
Chạy AI trên máy cá nhân23,4K

MLC LLM

mlc-ai / mlc-llm

Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt

KhóWindowsmacOSLinuxAndroid+2

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo