Trải nghiệm khi dùng TensorRT-LLM
Theo tài liệu Quick Start, cách nhanh nhất để thử là kéo sẵn container phát hành trên NGC (kho container của NVIDIA) rồi chạy bên trong. Trong container, bạn gõ lệnh trtllm-serve kèm tên mô hình trên Hugging Face. Máy chủ khởi động và mở các endpoint kiểu OpenAI như v1/chat/completions để bạn gọi bằng curl hoặc bất kỳ ứng dụng nào.
Nếu thích dùng trong code, bạn dùng LLM API bằng Python: chỉ định tên mô hình hoặc đường dẫn checkpoint, thư viện lo tải, tối ưu và chạy. Ngoài ra có VisualGen API cho mô hình tạo ảnh và video bằng diffusion, ví dụ tài liệu dùng Wan 2.1 để sinh video.
Phần giá trị thật sự lộ ra khi chạy ở quy mô lớn: nhiều GPU, nhiều máy, các kỹ thuật tối ưu như quantization FP8, speculative decoding, tách prefill và decode. Vì vậy với người dùng cá nhân có một card RTX, các công cụ như Ollama hay llama.cpp thường dễ và đủ dùng hơn.
Tính năng nổi bật
Máy chủ tương thích OpenAI
Lệnh trtllm-serve mở API chat completions để ứng dụng hiện có kết nối vào mà ít phải sửa.
LLM API bằng Python
Chỉ cần tên mô hình hoặc checkpoint, thư viện tự lo nạp, tối ưu và chạy trên một hoặc nhiều GPU.
Tối ưu chuyên sâu cho GPU NVIDIA
Có kernel riêng cho attention, GEMM, MoE và các kỹ thuật như speculative decoding, parallelism nhiều GPU và nhiều máy.
Hỗ trợ mô hình đã lượng tử hoá
Có thể dùng các checkpoint nén như bản FP8 do NVIDIA công bố trên Hugging Face, miễn GPU hỗ trợ FP8.
VisualGen cho ảnh và video
API riêng cho mô hình diffusion để tạo ảnh và video, có ví dụ với Wan 2.1.
Công cụ đo hiệu năng
Có trtllm-bench để benchmark, giúp bạn tinh chỉnh cấu hình trước khi đưa vào chạy thật.
Tận dụng TensorRT-LLM vào việc gì?
Kỹ sư hạ tầng, doanh nghiệp có GPU NVIDIA
Dựng máy chủ AI nội bộ tốc độ cao
Phục vụ nhiều người dùng cùng lúc với độ trễ thấp, ví dụ chatbot nội bộ hay hệ thống trả lời khách hàng.
Đội MLOps
Tối ưu chi phí GPU
Thử các bản lượng tử hoá và cấu hình khác nhau để chạy cùng một mô hình trên ít card hơn.
Studio, nhóm nghiên cứu
Sinh video và ảnh quy mô lớn
Dùng VisualGen API để chạy mô hình tạo video trên nhiều GPU.
Lập trình viên nền tảng
Làm backend cho nền tảng AI khác
Kết hợp với Dynamo hoặc Triton Inference Server theo tài liệu để xây hệ thống phục vụ lớn.
Sinh viên, kỹ sư học máy
Học cách triển khai LLM chuyên nghiệp
Đọc blog kỹ thuật và tài liệu kiến trúc để hiểu các kỹ thuật tối ưu suy luận.
Cần chuẩn bị gì?
- GPU NVIDIA; mức hỗ trợ cụ thể xem trang Supported Hardware trong tài liệu chính thức.
- Linux với driver NVIDIA phù hợp; cách nhanh nhất là chạy trong container NGC có sẵn môi trường.
- Python 3.10 hoặc 3.12 theo huy hiệu trong README.
- VRAM đủ cho mô hình bạn chọn; không có con số chung vì phụ thuộc mô hình và mức nén.
Hướng dẫn cài đặt chi tiết
Cài trên Docker (khuyến nghị)
Cài driver NVIDIA, Docker và NVIDIA Container Toolkit trên Linux. Tài liệu nói cách nhanh nhất là dùng container phát hành dựng sẵn trên NGC (registry của NVIDIA). Kéo image; thay số phiên bản bằng tag bạn muốn (tag mẫu trong docs là 1.4.0rc3, nếu tag lỗi hãy thử container của bản phát hành trước).
docker pull nvcr.io/nvidia/tensorrt-llm/release:1.4.0rc3Nếu bạn clone repo TensorRT-LLM, có thể chạy container bằng make; thêm LOCAL_USER=1 để chạy bằng người dùng của bạn thay vì root. Quan trọng: docs cảnh báo phải đặt --ipc=host nếu tự chạy docker run, nếu không sẽ gặp lỗi Bus error.
make -C docker release_runBên trong container, kiểm tra lệnh trtllm-serve đã sẵn sàng.
trtllm-serve --helpTag và lệnh cụ thể thay đổi theo từng bản phát hành, nên xem trang container chính thức để lấy tag mới nhất.
https://nvidia.github.io/TensorRT-LLM/installation/containers.html
Cài trên pip trên Linux
Docs hướng dẫn cho Ubuntu 24.04. Cần cài CUDA Toolkit 13.1 theo hướng dẫn của NVIDIA và đặt biến môi trường CUDA_HOME cho đúng. Có thể cần thêm gói cuda-compat-13-1 tuỳ driver.
https://nvidia.github.io/TensorRT-LLM/installation/linux.htmlCài PyTorch bản CUDA 13.0 để khớp với bản build của TensorRT-LLM, cùng thư viện hệ thống cần thiết. Gói libzmq3-dev chỉ cần nếu dùng disaggregated serving.
pip3 install torch==2.10.0 torchvision --index-url https://download.pytorch.org/whl/cu130 sudo apt-get -y install libopenmpi-dev sudo apt-get -y install libzmq3-devCài gói TensorRT-LLM dựng sẵn từ PyPI. Lưu ý: bản wheel này build với PyTorch 2.10.0, có thể không khớp với container PyTorch của NGC; khi đó dùng wheel có sẵn trong container phát hành của TensorRT-LLM.
pip3 install --ignore-installed pip setuptools wheel && pip3 install tensorrt_llmTrước khi cài, kiểm tra bảng phần cứng và mô hình được hỗ trợ để chắc GPU của bạn dùng được.
https://nvidia.github.io/TensorRT-LLM/reference/support-matrix.html
Dùng thử lần đầu
Trong container, khởi động máy chủ với mô hình nhỏ làm ví dụ theo tài liệu Quick Start. Lần đầu sẽ tải mô hình từ Hugging Face.
trtllm-serve "TinyLlama/TinyLlama-1.1B-Chat-v1.0"Mở cổng ra ngoài container hoặc vào container bằng docker exec, rồi gọi thử API chat từ Terminal khác. Ví dụ trong tài liệu dùng cổng 8000.
curl -X POST http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "TinyLlama/TinyLlama-1.1B-Chat-v1.0", "messages": [{"role": "user", "content": "Xin chào"}], "max_tokens": 32}'Nếu GPU hỗ trợ FP8, thử mô hình đã lượng tử hoá do NVIDIA công bố để so sánh tốc độ và bộ nhớ.
trtllm-serve "nvidia/Qwen3-8B-FP8"Đọc thêm các deployment guide cho từng mô hình phổ biến trong tài liệu để lấy cấu hình đã tinh chỉnh sẵn.
Mẹo dùng hay
- Bắt đầu bằng mô hình nhỏ như TinyLlama để kiểm tra môi trường, sau đó mới sang mô hình lớn thật.
- Dùng trtllm-bench để đo hiệu năng trước khi đưa vào dùng thật.
- README nêu cách tắt thu thập telemetry bằng cờ --no-telemetry trên các lệnh trtllm-serve, trtllm-bench, trtllm-eval nếu bạn muốn.
Lưu ý và hạn chế
- Chỉ dành cho GPU NVIDIA; card AMD, Intel hoặc Mac không dùng được.
- Phiên bản phát triển nhanh và README hiện ghi bản 1.4.0 release candidate, nên lệnh và hành vi có thể thay đổi giữa các bản.
- Cài và cấu hình đòi hỏi kiến thức Linux, Docker, CUDA; người mới nên dùng công cụ đơn giản hơn trước.
Câu hỏi thường gặp
TensorRT-LLM có miễn phí không?
Có, mã nguồn mở theo giấy phép Apache 2.0 như file LICENSE của dự án. Bạn cần GPU NVIDIA để tận dụng.
Máy tính cá nhân có dùng được không?
Có thể nếu bạn có GPU NVIDIA được hỗ trợ và chạy Linux hoặc container, nhưng với nhu cầu cá nhân Ollama hoặc LM Studio dễ hơn nhiều.
Khác gì vLLM?
Cả hai đều là bộ máy phục vụ mô hình lớn có API kiểu OpenAI. TensorRT-LLM do NVIDIA làm riêng cho GPU NVIDIA, còn vLLM hỗ trợ rộng hơn về phần cứng.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/NVIDIA/TensorRT-LLM.gitRepo tương tự nên xem
vLLM
vllm-project / vllm
Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc
SGLang
sgl-project / sglang
Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn
Xinference
xorbitsai / inference
Nền tảng tự cài để chạy và quản lý hàng trăm mô hình AI qua giao diện web và API kiểu OpenAI