Trải nghiệm khi dùng vLLM
Bạn có một máy chủ Linux với card đồ hoạ, tạo môi trường Python bằng công cụ uv rồi cài vLLM bằng một lệnh. Tiếp theo gõ lệnh vllm serve kèm tên mô hình trên Hugging Face; vLLM tự tải mô hình về rồi mở một máy chủ API. Bạn dùng được ngay bằng cách trỏ ứng dụng tương thích OpenAI vào địa chỉ máy chủ này.
Điểm đáng nói là cách vLLM xếp nhiều yêu cầu vào cùng một lượt tính (continuous batching) và quản lý bộ nhớ attention bằng kỹ thuật PagedAttention. Nhờ vậy khi có nhiều người cùng hỏi, hệ thống vẫn giữ được thông lượng cao, đó là lý do nó được dùng nhiều ở môi trường doanh nghiệp.
Với người dùng thường, đây không phải nơi bắt đầu. Nếu chỉ muốn chat với AI trên laptop thì Ollama hay LM Studio dễ hơn nhiều. vLLM phù hợp khi bạn thuê hoặc sở hữu GPU và cần phục vụ cả nhóm hoặc cả ứng dụng.
Tính năng nổi bật
Thông lượng cao khi nhiều người dùng
Gom nhiều yêu cầu cùng lúc (continuous batching), quản lý bộ nhớ bằng PagedAttention để tận dụng GPU tốt hơn.
API tương thích OpenAI
README ghi có máy chủ tương thích OpenAI, cộng thêm Anthropic Messages API và gRPC.
Hỗ trợ hơn 200 kiến trúc mô hình
Llama, Qwen, Gemma, Mixtral, DeepSeek, GPT-OSS, mô hình nhìn ảnh, embedding và nhiều loại khác trên Hugging Face.
Nén mô hình để tiết kiệm bộ nhớ
Hỗ trợ nhiều kiểu lượng tử hoá như FP8, INT4, GPTQ, AWQ, GGUF.
Nhiều loại phần cứng
GPU NVIDIA, AMD, Intel, CPU x86/ARM/PowerPC và các plugin như TPU, Ascend, Apple Silicon.
Chạy phân tán
Chia mô hình lớn ra nhiều GPU hoặc nhiều máy bằng tensor, pipeline, data và expert parallelism.
Tận dụng vLLM vào việc gì?
IT nội bộ, doanh nghiệp vừa
Máy chủ AI nội bộ cho cả công ty
Một máy GPU chạy vLLM, nhân viên và các ứng dụng gọi chung qua API thay vì mỗi người một tài khoản dịch vụ.
Lập trình viên, startup
Thay OpenAI bằng mô hình mở trong sản phẩm
Đổi địa chỉ API sang vLLM để dùng mô hình như Qwen hay Llama mà ít phải sửa code.
Kỹ sư dữ liệu
Chạy hàng loạt tác vụ xử lý văn bản
Chạy suy luận ngoại tuyến (offline batch) để phân loại, trích xuất thông tin từ hàng nghìn tài liệu.
Nhà nghiên cứu, sinh viên
Thử nghiệm và so sánh mô hình
Dựng nhanh một máy chủ cho mô hình mới để đo tốc độ và chất lượng.
Cần chuẩn bị gì?
- Hệ điều hành Linux và Python từ 3.11 đến 3.14 theo tài liệu quickstart; macOS Apple Silicon qua dự án vLLM-Metal riêng.
- Card đồ hoạ phù hợp (NVIDIA CUDA, AMD ROCm, Intel...) và driver đúng; dung lượng VRAM tuỳ mô hình bạn chọn.
- Công cụ uv (khuyên dùng) hoặc pip để cài.
- Kết nối Internet để tải mô hình từ Hugging Face.
Hướng dẫn cài đặt chi tiết
Cài trên Linux (NVIDIA)
Cài uv rồi tạo môi trường ảo với Python 3.12.
uv venv --python 3.12 --seed source .venv/bin/activateCài vLLM và tải các kernel biên dịch sẵn để khởi động nhanh hơn. Cờ --torch-backend=auto để uv tự chọn bản PyTorch hợp driver.
uv pip install vllm --torch-backend=auto vllm download-kernelsCó thể dùng conda thay uv, hoặc chạy thử không cài lâu dài bằng uv run; xem trang Installation của docs.
Cài trên AMD, Intel, TPU
Các phần cứng khác có cách cài riêng (ví dụ AMD ROCm dùng thêm một extra-index-url, Intel qua backend XPU, TPU qua gói vllm-tpu). Hãy mở trang tài liệu cài đặt GPU để chọn đúng tab cho máy của bạn.
https://docs.vllm.ai/en/latest/getting_started/installation/gpu/index.html
Cài trên Windows / Docker
Quickstart yêu cầu Linux. Trên Windows nên dùng WSL2 hoặc Docker và đọc tài liệu cài đặt để biết image phù hợp; mình không xác nhận được cách chạy trực tiếp trên Windows từ README.
https://docs.vllm.ai/en/latest/getting_started/installation.html
Dùng thử lần đầu
Kích hoạt môi trường ảo đã cài vLLM và khởi động máy chủ với một mô hình nhỏ. Lần đầu sẽ tải mô hình về nên cần chờ.
vllm serve Qwen/Qwen2.5-1.5B-InstructKhi máy chủ lên, Terminal in địa chỉ lắng nghe. Gọi thử API tương thích OpenAI từ một cửa sổ khác bằng địa chỉ đó (xem docs OpenAI-Compatible Server để có mẫu lệnh).
Nối một ứng dụng bạn đang dùng (ví dụ giao diện chat hay công cụ lập trình hỗ trợ API OpenAI) vào địa chỉ này.
Đổi sang mô hình lớn hơn khi GPU đủ VRAM, đọc docs để chỉnh các tham số như độ dài ngữ cảnh.
Mẹo dùng hay
- Bắt đầu bằng mô hình nhỏ để chắc rằng driver và môi trường hoạt động, rồi mới tăng kích cỡ.
- Máy chủ mặc định áp dụng generation_config.json của mô hình nếu có, nên giá trị lấy mẫu có thể khác bạn nghĩ.
- Nếu chỉ cần chat cá nhân, hãy cân nhắc llama.cpp hoặc Ollama thay vì vLLM.
Lưu ý và hạn chế
- Dành cho người triển khai có GPU và biết Linux; không phải ứng dụng bấm là chạy.
- Yêu cầu phần cứng và phiên bản driver khá khắt khe; mô hình lớn cần nhiều VRAM.
- Nếu mở API ra Internet, bạn phải tự lo xác thực và bảo mật, nếu không ai cũng có thể dùng GPU của bạn.
Câu hỏi thường gặp
vLLM có miễn phí không?
Có, mã nguồn mở giấy phép Apache-2.0. Chi phí chính là phần cứng GPU hoặc tiền thuê máy chủ.
vLLM chạy trên laptop Windows được không?
Quickstart yêu cầu Linux. Với laptop thường, Ollama hoặc llama.cpp phù hợp hơn.
vLLM khác Ollama thế nào?
Ollama tiện cho cá nhân chạy mô hình trên máy. vLLM tối ưu cho phục vụ nhiều yêu cầu đồng thời trên GPU máy chủ.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/vllm-project/vllm.gitRepo tương tự nên xem
SGLang
sgl-project / sglang
Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh