Trải nghiệm khi dùng MLC LLM
Với người thường, cách nhẹ nhàng nhất để thấy MLC LLM làm gì là cài ứng dụng MLC Chat trên iPhone hoặc Android theo link trong tài liệu, rồi chọn một mô hình nhỏ để chat. Tài liệu lưu ý mô hình lớn cần nhiều bộ nhớ hơn nên hãy bắt đầu với mô hình nhỏ.
Với lập trình viên, trải nghiệm bắt đầu bằng việc cài gói Python (nên dùng conda để có môi trường riêng), rồi chạy một lệnh để chat ngay trong Terminal hoặc mở một máy chủ REST cục bộ. Mô hình được tải từ Hugging Face theo địa chỉ có dạng HF://, lần đầu hơi lâu rồi sau đó dùng lại bản đã tải.
Điều khiến MLC LLM khác biệt là nó biên dịch mô hình cho từng loại phần cứng thay vì chỉ dựa vào một thư viện duy nhất. Đổi lại, nó phức tạp hơn các công cụ kiểu cài là chạy như Ollama, và gói cài bản dựng sẵn hiện là bản nightly (dựng hằng đêm) nên có thể thay đổi liên tục.
Tính năng nổi bật
Một engine cho nhiều phần cứng
Hỗ trợ GPU AMD, NVIDIA, Intel, chip Apple qua Vulkan, CUDA, ROCm, Metal; trình duyệt qua WebGPU; Android qua OpenCL.
API tương thích OpenAI
Ứng dụng đã viết cho OpenAI API có thể trỏ sang máy chủ MLC cục bộ với thay đổi tối thiểu, qua REST, Python, JavaScript, iOS hoặc Android.
Chạy trên điện thoại
Có ứng dụng MLC Chat cho iOS trên App Store và bản APK cho Android, mã nguồn mở nên bạn có thể tự xây dựng.
Chat ngay trong Terminal
Một lệnh duy nhất mở cuộc trò chuyện với mô hình đã tải, rất tiện để thử nhanh.
Biên dịch và đóng gói mô hình riêng
Tài liệu có hướng dẫn chuyển đổi trọng số, biên dịch thư viện mô hình và đóng gói cho ứng dụng của bạn.
Họ hàng với WebLLM
Cùng nền tảng với WebLLM, cho phép chạy mô hình ngay trong trình duyệt bằng WebGPU.
Tận dụng MLC LLM vào việc gì?
Người dùng tò mò, sinh viên
Thử AI chạy trên điện thoại
Cài MLC Chat, chọn mô hình nhỏ và xem điện thoại tự trả lời offline.
Lập trình viên
Dựng máy chủ AI cục bộ cho ứng dụng
Chạy máy chủ REST ở địa chỉ cục bộ rồi cho ứng dụng nội bộ gọi như gọi OpenAI.
Lập trình viên mobile
Nhúng mô hình vào ứng dụng iOS hoặc Android
Dùng SDK iOS Swift hoặc Android để đưa AI chạy trong ứng dụng, dữ liệu người dùng không phải rời máy.
Người dùng GPU AMD hoặc Intel
Tận dụng card đồ hoạ ít phổ biến
Khi công cụ khác chưa hỗ trợ tốt card của bạn, Vulkan hoặc ROCm của MLC có thể là lối thoát.
Sinh viên công nghệ
Học về triển khai mô hình
Đọc tài liệu và khoá học MLC để hiểu cách biên dịch mô hình cho nhiều nền tảng.
Cần chuẩn bị gì?
- Python và nên dùng conda để tạo môi trường riêng, theo khuyến nghị của tài liệu.
- Ví dụ Llama 3 8B bản nén int4 trong tài liệu nên có ít nhất khoảng 6 GB VRAM trống.
- Windows và Linux nên cài driver Vulkan mới nhất nếu dùng Vulkan.
- Cần git-lfs trên máy để tải mô hình, và Internet cho lần tải đầu.
Hướng dẫn cài đặt chi tiết
Cài trên Python (pip)
Tạo môi trường conda riêng với Python mới rồi kích hoạt nó. Tài liệu khuyến nghị Python 3.13 cho môi trường mới.
conda create --name mlc-prebuilt python=3.13 conda activate mlc-prebuiltCài bản dựng sẵn. Đây là ví dụ cho bản CPU; tài liệu có lệnh riêng cho CUDA, ROCm, Vulkan, nên vào trang cài đặt chọn đúng hệ điều hành và phần cứng của bạn.
python -m pip install --pre -U -f https://mlc.ai/wheels mlc-llm-nightly-cpu mlc-ai-nightly-cpuTrên Windows hoặc Linux dùng Vulkan, tài liệu gợi ý cài thêm các thành phần qua conda để tránh lỗi không tìm thấy Vulkan.
conda install -c conda-forge clang libvulkan-loader git-lfs gitKiểm tra cài thành công.
python -c "import mlc_llm; print(mlc_llm)"
Cài trên Điện thoại
iPhone và iPad: tìm ứng dụng MLC Chat trên App Store theo link trong trang Quick Start của tài liệu chính thức.
Android: tải file APK dựng sẵn từ link trong trang Quick Start tại llm.mlc.ai. Chỉ tải từ trang chính thức vì đây là file cài ngoài cửa hàng.
Mở ứng dụng, chọn một mô hình nhỏ để tải trước. Tài liệu nhắc mô hình lớn cần nhiều VRAM hơn nên hãy bắt đầu bằng mô hình nhỏ.
Cài trên Trình duyệt
Muốn thử ngay không cài gì, dùng WebLLM: mở chat.webllm.ai bằng Chrome mới nhất, trình duyệt cần hỗ trợ WebGPU.
https://chat.webllm.ai/
Dùng thử lần đầu
Chat ngay trong Terminal với mô hình Llama 3 8B nén int4. Lần đầu sẽ tải mô hình về.
mlc_llm chat HF://mlc-ai/Llama-3-8B-Instruct-q4f16_1-MLCMở máy chủ REST cục bộ. Khi thấy dòng Uvicorn running ở địa chỉ 127.0.0.1 cổng 8000, máy chủ đã sẵn sàng.
mlc_llm serve HF://mlc-ai/Llama-3-8B-Instruct-q4f16_1-MLCMở một Terminal khác và gửi yêu cầu giống cách gọi OpenAI. Trên Windows PowerShell hãy dùng curl.exe.
curl -X POST -H "Content-Type: application/json" -d '{"model": "HF://mlc-ai/Llama-3-8B-Instruct-q4f16_1-MLC", "messages": [{"role": "user", "content": "Xin chào, bạn là ai?"}]}' http://127.0.0.1:8000/v1/chat/completionsNếu thích dùng Python, thử MLCEngine theo ví dụ trong trang Quick Start của tài liệu.
Mẹo dùng hay
- Lần đầu chạy lâu là bình thường vì phải tải mô hình, và có thể biên dịch tức thời cho máy bạn.
- Nếu gặp lỗi thiếu tvm.dll trên Windows, tài liệu gợi ý cài thêm gói zstd bằng conda.
- Nếu chỉ cần chạy AI trên máy để dùng hằng ngày mà không cần các tính năng biên dịch, Ollama hoặc LM Studio thường dễ hơn nhiều.
Lưu ý và hạn chế
- Gói cài bản dựng sẵn là bản nightly, nên cách cài và hành vi có thể thay đổi; hãy đối chiếu với trang tài liệu chính thức khi cài.
- Dành cho người có kinh nghiệm: cần quen Python, conda, driver GPU. Người mới sẽ thấy khó hơn nhiều công cụ cùng nhóm.
- Danh sách mô hình hỗ trợ không bao phủ mọi mô hình trên Hugging Face; mô hình mới thường cần được cộng đồng chuyển đổi sang định dạng MLC.
Câu hỏi thường gặp
MLC LLM có miễn phí không?
Có. Dự án mã nguồn mở theo giấy phép Apache 2.0, bạn không phải trả phí bản quyền.
Có chạy được trên điện thoại không?
Có. Tài liệu có ứng dụng MLC Chat cho iOS và APK cho Android. Máy yếu hoặc ít RAM có thể chạy chậm hoặc không chạy được mô hình lớn.
Khác gì Ollama hay llama.cpp?
Ollama và llama.cpp dựa chủ yếu vào một bộ máy thực thi chung. MLC LLM biên dịch mô hình riêng cho từng phần cứng và phủ nhiều nền tảng hơn như trình duyệt, iOS, Android, đổi lại phức tạp hơn.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/mlc-ai/mlc-llm.gitRepo tương tự nên xem
WebLLM
mlc-ai / web-llm
Chạy mô hình AI ngay trong trình duyệt nhờ WebGPU, không cần máy chủ, không cần cài phần mềm
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh