Chuyển đến nội dung

vllm-project / vllm

vLLM

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

vLLM là thư viện và máy chủ suy luận (inference) cho mô hình ngôn ngữ, nổi tiếng nhờ phục vụ được nhiều yêu cầu cùng lúc với hiệu quả bộ nhớ cao. Nó mở API tương thích OpenAI nên ứng dụng nào đang gọi OpenAI cũng có thể đổi sang mô hình của bạn. Đây là công cụ cho người triển khai nghiêm túc trên máy chủ có GPU, không phải ứng dụng chat cho người dùng cuối.

  • 96.986 sao
  • 24.866 fork
  • Python
  • Cập nhật hôm nay
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Thư viện lập trình, Dòng lệnh (CLI)
Chạy trên
Linux, Python, Docker
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng vLLM

Bạn có một máy chủ Linux với card đồ hoạ, tạo môi trường Python bằng công cụ uv rồi cài vLLM bằng một lệnh. Tiếp theo gõ lệnh vllm serve kèm tên mô hình trên Hugging Face; vLLM tự tải mô hình về rồi mở một máy chủ API. Bạn dùng được ngay bằng cách trỏ ứng dụng tương thích OpenAI vào địa chỉ máy chủ này.

Điểm đáng nói là cách vLLM xếp nhiều yêu cầu vào cùng một lượt tính (continuous batching) và quản lý bộ nhớ attention bằng kỹ thuật PagedAttention. Nhờ vậy khi có nhiều người cùng hỏi, hệ thống vẫn giữ được thông lượng cao, đó là lý do nó được dùng nhiều ở môi trường doanh nghiệp.

Với người dùng thường, đây không phải nơi bắt đầu. Nếu chỉ muốn chat với AI trên laptop thì Ollama hay LM Studio dễ hơn nhiều. vLLM phù hợp khi bạn thuê hoặc sở hữu GPU và cần phục vụ cả nhóm hoặc cả ứng dụng.

Tính năng nổi bật

Thông lượng cao khi nhiều người dùng

Gom nhiều yêu cầu cùng lúc (continuous batching), quản lý bộ nhớ bằng PagedAttention để tận dụng GPU tốt hơn.

API tương thích OpenAI

README ghi có máy chủ tương thích OpenAI, cộng thêm Anthropic Messages API và gRPC.

Hỗ trợ hơn 200 kiến trúc mô hình

Llama, Qwen, Gemma, Mixtral, DeepSeek, GPT-OSS, mô hình nhìn ảnh, embedding và nhiều loại khác trên Hugging Face.

Nén mô hình để tiết kiệm bộ nhớ

Hỗ trợ nhiều kiểu lượng tử hoá như FP8, INT4, GPTQ, AWQ, GGUF.

Nhiều loại phần cứng

GPU NVIDIA, AMD, Intel, CPU x86/ARM/PowerPC và các plugin như TPU, Ascend, Apple Silicon.

Chạy phân tán

Chia mô hình lớn ra nhiều GPU hoặc nhiều máy bằng tensor, pipeline, data và expert parallelism.

Tận dụng vLLM vào việc gì?

IT nội bộ, doanh nghiệp vừa

Máy chủ AI nội bộ cho cả công ty

Một máy GPU chạy vLLM, nhân viên và các ứng dụng gọi chung qua API thay vì mỗi người một tài khoản dịch vụ.

Lập trình viên, startup

Thay OpenAI bằng mô hình mở trong sản phẩm

Đổi địa chỉ API sang vLLM để dùng mô hình như Qwen hay Llama mà ít phải sửa code.

Kỹ sư dữ liệu

Chạy hàng loạt tác vụ xử lý văn bản

Chạy suy luận ngoại tuyến (offline batch) để phân loại, trích xuất thông tin từ hàng nghìn tài liệu.

Nhà nghiên cứu, sinh viên

Thử nghiệm và so sánh mô hình

Dựng nhanh một máy chủ cho mô hình mới để đo tốc độ và chất lượng.

Cần chuẩn bị gì?

  • Hệ điều hành Linux và Python từ 3.11 đến 3.14 theo tài liệu quickstart; macOS Apple Silicon qua dự án vLLM-Metal riêng.
  • Card đồ hoạ phù hợp (NVIDIA CUDA, AMD ROCm, Intel...) và driver đúng; dung lượng VRAM tuỳ mô hình bạn chọn.
  • Công cụ uv (khuyên dùng) hoặc pip để cài.
  • Kết nối Internet để tải mô hình từ Hugging Face.

Hướng dẫn cài đặt chi tiết

Cài trên Linux (NVIDIA)

  1. Cài uv rồi tạo môi trường ảo với Python 3.12.

    Terminal
    uv venv --python 3.12 --seed
    source .venv/bin/activate
  2. Cài vLLM và tải các kernel biên dịch sẵn để khởi động nhanh hơn. Cờ --torch-backend=auto để uv tự chọn bản PyTorch hợp driver.

    Terminal
    uv pip install vllm --torch-backend=auto
    vllm download-kernels
  3. Có thể dùng conda thay uv, hoặc chạy thử không cài lâu dài bằng uv run; xem trang Installation của docs.

Cài trên AMD, Intel, TPU

  1. Các phần cứng khác có cách cài riêng (ví dụ AMD ROCm dùng thêm một extra-index-url, Intel qua backend XPU, TPU qua gói vllm-tpu). Hãy mở trang tài liệu cài đặt GPU để chọn đúng tab cho máy của bạn.

    Văn bản
    https://docs.vllm.ai/en/latest/getting_started/installation/gpu/index.html

Cài trên Windows / Docker

  1. Quickstart yêu cầu Linux. Trên Windows nên dùng WSL2 hoặc Docker và đọc tài liệu cài đặt để biết image phù hợp; mình không xác nhận được cách chạy trực tiếp trên Windows từ README.

    Văn bản
    https://docs.vllm.ai/en/latest/getting_started/installation.html

Dùng thử lần đầu

  1. Kích hoạt môi trường ảo đã cài vLLM và khởi động máy chủ với một mô hình nhỏ. Lần đầu sẽ tải mô hình về nên cần chờ.

    Terminal
    vllm serve Qwen/Qwen2.5-1.5B-Instruct
  2. Khi máy chủ lên, Terminal in địa chỉ lắng nghe. Gọi thử API tương thích OpenAI từ một cửa sổ khác bằng địa chỉ đó (xem docs OpenAI-Compatible Server để có mẫu lệnh).

  3. Nối một ứng dụng bạn đang dùng (ví dụ giao diện chat hay công cụ lập trình hỗ trợ API OpenAI) vào địa chỉ này.

  4. Đổi sang mô hình lớn hơn khi GPU đủ VRAM, đọc docs để chỉnh các tham số như độ dài ngữ cảnh.

Mẹo dùng hay

  • Bắt đầu bằng mô hình nhỏ để chắc rằng driver và môi trường hoạt động, rồi mới tăng kích cỡ.
  • Máy chủ mặc định áp dụng generation_config.json của mô hình nếu có, nên giá trị lấy mẫu có thể khác bạn nghĩ.
  • Nếu chỉ cần chat cá nhân, hãy cân nhắc llama.cpp hoặc Ollama thay vì vLLM.

Lưu ý và hạn chế

  • Dành cho người triển khai có GPU và biết Linux; không phải ứng dụng bấm là chạy.
  • Yêu cầu phần cứng và phiên bản driver khá khắt khe; mô hình lớn cần nhiều VRAM.
  • Nếu mở API ra Internet, bạn phải tự lo xác thực và bảo mật, nếu không ai cũng có thể dùng GPU của bạn.

Câu hỏi thường gặp

vLLM có miễn phí không?

Có, mã nguồn mở giấy phép Apache-2.0. Chi phí chính là phần cứng GPU hoặc tiền thuê máy chủ.

vLLM chạy trên laptop Windows được không?

Quickstart yêu cầu Linux. Với laptop thường, Ollama hoặc llama.cpp phù hợp hơn.

vLLM khác Ollama thế nào?

Ollama tiện cho cá nhân chạy mô hình trên máy. vLLM tối ưu cho phục vụ nhiều yêu cầu đồng thời trên GPU máy chủ.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/vllm-project/vllm.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux
Chạy AI trên máy cá nhân25,3K

Google AI Edge Gallery

google-ai-edge / gallery

Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư

DễAndroidiOSmacOS
Chạy AI trên máy cá nhân23,4K

MLC LLM

mlc-ai / mlc-llm

Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt

KhóWindowsmacOSLinuxAndroid+2

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo