Chuyển đến nội dung

ggml-org / llama.cpp

llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

llama.cpp là động cơ suy luận (inference) giúp chạy các mô hình ngôn ngữ và mô hình nhìn ảnh ngay trên máy của bạn với cài đặt tối thiểu. Nó là nền tảng mà nhiều phần mềm khác như Ollama hay LM Studio dựa vào. Bạn dùng nó trực tiếp qua lệnh để chat, hoặc mở một máy chủ có API tương thích OpenAI và giao diện web đi kèm.

  • 135.210 sao
  • 25.654 fork
  • C++
  • Cập nhật hôm nay
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Dòng lệnh (CLI), Thư viện lập trình
Chạy trên
Windows, macOS, Linux, Docker
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng llama.cpp

Bạn mở Terminal hoặc PowerShell và chạy một dòng lệnh cài đặt chính thức, hoặc tải bản dựng sẵn ở trang Releases. Sau khi cài xong, chỉ cần gõ lệnh chat kèm tên một mô hình trên Hugging Face, công cụ tự tải mô hình về rồi mở khung chat ngay trong cửa sổ lệnh.

Muốn có giao diện web, bạn chạy lệnh serve với cùng mô hình. README cho biết nó mở một máy chủ API tương thích OpenAI và có giao diện web tích hợp sẵn, nên nhiều ứng dụng khác như Open WebUI hay các trình soạn code có thể nối vào được.

Điểm mạnh của llama.cpp là chạy được trên rất nhiều loại phần cứng. Máy Mac chip Apple được ưu tiên hàng đầu, còn máy Windows hay Linux dùng CPU, card NVIDIA (CUDA), AMD (HIP), Vulkan hay Intel (SYCL). Nó còn lượng tử hoá mô hình (nén xuống 4 bit chẳng hạn) để vừa với RAM ít hơn.

Tính năng nổi bật

Cài đặt tối giản

Viết bằng C/C++ thuần, không cần thư viện nặng, có lệnh cài sẵn và bản dựng đóng gói.

Chạy trên nhiều phần cứng

Hỗ trợ CPU x86 và ARM, Apple silicon qua Metal, NVIDIA CUDA, AMD HIP, Vulkan, SYCL và các backend khác trong bảng của README.

Nén mô hình để vừa máy yếu

Lượng tử hoá từ 1,5 đến 8 bit giúp giảm RAM và tăng tốc độ.

Chạy lai CPU và GPU

Mô hình lớn hơn VRAM vẫn chạy được bằng cách chia một phần sang CPU.

Máy chủ tương thích OpenAI

Lệnh serve mở API và giao diện web để các ứng dụng khác dùng chung.

Tải thẳng từ Hugging Face

Tham số -hf cho phép tải và chạy mô hình dạng GGUF mà không phải tải tay.

Tận dụng llama.cpp vào việc gì?

Dân văn phòng, người quan tâm riêng tư

Chạy AI offline trên laptop

Tóm tắt, viết lại văn bản mà không gửi dữ liệu lên dịch vụ trực tuyến.

IT nội bộ, chủ doanh nghiệp nhỏ

Máy chủ AI nội bộ giá rẻ

Bật llama serve trên một máy và để các ứng dụng trong công ty gọi qua API.

Người mê thử nghiệm AI

Thử mô hình mới ngay khi ra

Nhiều mô hình mở có bản GGUF trên Hugging Face, chỉ cần đổi tên mô hình trong lệnh.

Lập trình viên

Nhúng AI vào ứng dụng của mình

Dùng thư viện C/C++ hoặc API server để tích hợp mô hình cục bộ vào phần mềm riêng.

Sinh viên

Chạy trên máy cấu hình thấp

Chọn mô hình nhỏ đã nén để vẫn thử AI được trên máy không có card đồ hoạ rời.

Cần chuẩn bị gì?

  • Windows, macOS hoặc Linux; Apple silicon được tối ưu hàng đầu.
  • RAM đủ chứa mô hình đã chọn (mô hình càng lớn càng cần nhiều); không bắt buộc card đồ hoạ.
  • Card NVIDIA, AMD hoặc Intel nếu muốn tăng tốc bằng GPU, cần driver phù hợp.
  • Kết nối Internet lần đầu để tải mô hình từ Hugging Face.

Hướng dẫn cài đặt chi tiết

Cài trên Windows

  1. Mở PowerShell và chạy lệnh cài chính thức từ README.

    PowerShell
    irm https://llama.app/install.ps1 | iex
  2. Hoặc tải bản dựng sẵn ở trang Releases (chọn đúng bản cho CPU hoặc GPU của bạn).

    Văn bản
    https://github.com/ggml-org/llama.cpp/releases

Cài trên macOS / Linux

  1. Mở Terminal và chạy lệnh cài chính thức từ README.

    Terminal
    curl -LsSf https://llama.app/install.sh | sh
  2. Cách khác: tải bản dựng sẵn ở trang Releases hoặc xem hướng dẫn tại llama.app.

    Văn bản
    https://github.com/ggml-org/llama.cpp/releases

Cài trên Docker

  1. Repo có các image trên ghcr.io/ggml-org/llama.cpp, gồm bản server và các bản có hỗ trợ CUDA. Xem hướng dẫn mount thư mục mô hình và chạy ở docs/docker.md.

    Văn bản
    https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md

Cài trên Build từ mã nguồn

  1. Nếu cần bản tối ưu riêng cho phần cứng (CUDA, Vulkan, Metal...), làm theo hướng dẫn build chính thức.

    Văn bản
    https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md

Dùng thử lần đầu

  1. Chạy một mô hình nhỏ ngay trong cửa sổ lệnh. Lần đầu công cụ tải mô hình từ Hugging Face về, chờ nó xong rồi bạn gõ câu hỏi.

    Terminal
    llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
  2. Thử hỏi bằng tiếng Việt một việc nhỏ như viết lại email cho lịch sự để xem mô hình có hợp không.

  3. Bật máy chủ API tương thích OpenAI cùng giao diện web, rồi mở địa chỉ mà Terminal in ra.

    Terminal
    llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF
  4. Đổi sang mô hình lớn hơn (thay tên sau -hf) khi máy đủ RAM, và xem tài liệu tools/server để biết các tuỳ chọn nâng cao.

Mẹo dùng hay

  • Nếu chỉ cần tiện, dùng Ollama hoặc LM Studio vì chúng gói llama.cpp trong giao diện dễ hơn; dùng llama.cpp trực tiếp khi muốn kiểm soát chi tiết.
  • Chọn bản lượng tử hoá nhỏ hơn (ví dụ 4 bit) nếu máy ít RAM, đổi lại chất lượng giảm nhẹ.
  • Xem trang performance troubleshooting trong docs khi tốc độ chậm bất thường.

Lưu ý và hạn chế

  • Là công cụ dòng lệnh, cần làm quen Terminal; giao diện web đi kèm đơn giản hơn các ứng dụng chuyên dụng.
  • Mô hình chạy trên máy cá nhân thường kém các dịch vụ trực tuyến lớn, đặc biệt ở tiếng Việt và bài toán khó.
  • Lệnh và tên công cụ có thể thay đổi giữa các phiên bản; hãy theo README mới nhất trên GitHub.

Câu hỏi thường gặp

llama.cpp có miễn phí không?

Có, giấy phép MIT. Bạn chỉ trả tiền điện và phần cứng của mình.

Máy không có card đồ hoạ có chạy được không?

Được, llama.cpp hỗ trợ CPU. Hãy chọn mô hình nhỏ và đã nén; tốc độ sẽ chậm hơn so với dùng GPU.

llama.cpp khác Ollama thế nào?

llama.cpp là động cơ lõi, Ollama là ứng dụng bao bên ngoài dễ dùng hơn. llama.cpp cho bạn nhiều quyền tinh chỉnh hơn nhưng cần quen dòng lệnh hơn.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/ggml-org/llama.cpp.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân23,4K

MLC LLM

mlc-ai / mlc-llm

Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt

KhóWindowsmacOSLinuxAndroid+2

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux
Chạy AI trên máy cá nhân25,3K

Google AI Edge Gallery

google-ai-edge / gallery

Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư

DễAndroidiOSmacOS

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo