Trải nghiệm khi dùng llama.cpp
Bạn mở Terminal hoặc PowerShell và chạy một dòng lệnh cài đặt chính thức, hoặc tải bản dựng sẵn ở trang Releases. Sau khi cài xong, chỉ cần gõ lệnh chat kèm tên một mô hình trên Hugging Face, công cụ tự tải mô hình về rồi mở khung chat ngay trong cửa sổ lệnh.
Muốn có giao diện web, bạn chạy lệnh serve với cùng mô hình. README cho biết nó mở một máy chủ API tương thích OpenAI và có giao diện web tích hợp sẵn, nên nhiều ứng dụng khác như Open WebUI hay các trình soạn code có thể nối vào được.
Điểm mạnh của llama.cpp là chạy được trên rất nhiều loại phần cứng. Máy Mac chip Apple được ưu tiên hàng đầu, còn máy Windows hay Linux dùng CPU, card NVIDIA (CUDA), AMD (HIP), Vulkan hay Intel (SYCL). Nó còn lượng tử hoá mô hình (nén xuống 4 bit chẳng hạn) để vừa với RAM ít hơn.
Tính năng nổi bật
Cài đặt tối giản
Viết bằng C/C++ thuần, không cần thư viện nặng, có lệnh cài sẵn và bản dựng đóng gói.
Chạy trên nhiều phần cứng
Hỗ trợ CPU x86 và ARM, Apple silicon qua Metal, NVIDIA CUDA, AMD HIP, Vulkan, SYCL và các backend khác trong bảng của README.
Nén mô hình để vừa máy yếu
Lượng tử hoá từ 1,5 đến 8 bit giúp giảm RAM và tăng tốc độ.
Chạy lai CPU và GPU
Mô hình lớn hơn VRAM vẫn chạy được bằng cách chia một phần sang CPU.
Máy chủ tương thích OpenAI
Lệnh serve mở API và giao diện web để các ứng dụng khác dùng chung.
Tải thẳng từ Hugging Face
Tham số -hf cho phép tải và chạy mô hình dạng GGUF mà không phải tải tay.
Tận dụng llama.cpp vào việc gì?
Dân văn phòng, người quan tâm riêng tư
Chạy AI offline trên laptop
Tóm tắt, viết lại văn bản mà không gửi dữ liệu lên dịch vụ trực tuyến.
IT nội bộ, chủ doanh nghiệp nhỏ
Máy chủ AI nội bộ giá rẻ
Bật llama serve trên một máy và để các ứng dụng trong công ty gọi qua API.
Người mê thử nghiệm AI
Thử mô hình mới ngay khi ra
Nhiều mô hình mở có bản GGUF trên Hugging Face, chỉ cần đổi tên mô hình trong lệnh.
Lập trình viên
Nhúng AI vào ứng dụng của mình
Dùng thư viện C/C++ hoặc API server để tích hợp mô hình cục bộ vào phần mềm riêng.
Sinh viên
Chạy trên máy cấu hình thấp
Chọn mô hình nhỏ đã nén để vẫn thử AI được trên máy không có card đồ hoạ rời.
Cần chuẩn bị gì?
- Windows, macOS hoặc Linux; Apple silicon được tối ưu hàng đầu.
- RAM đủ chứa mô hình đã chọn (mô hình càng lớn càng cần nhiều); không bắt buộc card đồ hoạ.
- Card NVIDIA, AMD hoặc Intel nếu muốn tăng tốc bằng GPU, cần driver phù hợp.
- Kết nối Internet lần đầu để tải mô hình từ Hugging Face.
Hướng dẫn cài đặt chi tiết
Cài trên Windows
Mở PowerShell và chạy lệnh cài chính thức từ README.
irm https://llama.app/install.ps1 | iexHoặc tải bản dựng sẵn ở trang Releases (chọn đúng bản cho CPU hoặc GPU của bạn).
https://github.com/ggml-org/llama.cpp/releases
Cài trên macOS / Linux
Mở Terminal và chạy lệnh cài chính thức từ README.
curl -LsSf https://llama.app/install.sh | shCách khác: tải bản dựng sẵn ở trang Releases hoặc xem hướng dẫn tại llama.app.
https://github.com/ggml-org/llama.cpp/releases
Cài trên Docker
Repo có các image trên ghcr.io/ggml-org/llama.cpp, gồm bản server và các bản có hỗ trợ CUDA. Xem hướng dẫn mount thư mục mô hình và chạy ở docs/docker.md.
https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md
Cài trên Build từ mã nguồn
Nếu cần bản tối ưu riêng cho phần cứng (CUDA, Vulkan, Metal...), làm theo hướng dẫn build chính thức.
https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md
Dùng thử lần đầu
Chạy một mô hình nhỏ ngay trong cửa sổ lệnh. Lần đầu công cụ tải mô hình từ Hugging Face về, chờ nó xong rồi bạn gõ câu hỏi.
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFThử hỏi bằng tiếng Việt một việc nhỏ như viết lại email cho lịch sự để xem mô hình có hợp không.
Bật máy chủ API tương thích OpenAI cùng giao diện web, rồi mở địa chỉ mà Terminal in ra.
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFĐổi sang mô hình lớn hơn (thay tên sau -hf) khi máy đủ RAM, và xem tài liệu tools/server để biết các tuỳ chọn nâng cao.
Mẹo dùng hay
- Nếu chỉ cần tiện, dùng Ollama hoặc LM Studio vì chúng gói llama.cpp trong giao diện dễ hơn; dùng llama.cpp trực tiếp khi muốn kiểm soát chi tiết.
- Chọn bản lượng tử hoá nhỏ hơn (ví dụ 4 bit) nếu máy ít RAM, đổi lại chất lượng giảm nhẹ.
- Xem trang performance troubleshooting trong docs khi tốc độ chậm bất thường.
Lưu ý và hạn chế
- Là công cụ dòng lệnh, cần làm quen Terminal; giao diện web đi kèm đơn giản hơn các ứng dụng chuyên dụng.
- Mô hình chạy trên máy cá nhân thường kém các dịch vụ trực tuyến lớn, đặc biệt ở tiếng Việt và bài toán khó.
- Lệnh và tên công cụ có thể thay đổi giữa các phiên bản; hãy theo README mới nhất trên GitHub.
Câu hỏi thường gặp
llama.cpp có miễn phí không?
Có, giấy phép MIT. Bạn chỉ trả tiền điện và phần cứng của mình.
Máy không có card đồ hoạ có chạy được không?
Được, llama.cpp hỗ trợ CPU. Hãy chọn mô hình nhỏ và đã nén; tốc độ sẽ chậm hơn so với dùng GPU.
llama.cpp khác Ollama thế nào?
llama.cpp là động cơ lõi, Ollama là ứng dụng bao bên ngoài dễ dùng hơn. llama.cpp cho bạn nhiều quyền tinh chỉnh hơn nhưng cần quen dòng lệnh hơn.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/ggml-org/llama.cpp.gitRepo tương tự nên xem
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
LocalAI
mudler / LocalAI
Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU
MLC LLM
mlc-ai / mlc-llm
Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt