Chuyển đến nội dung

NVIDIA / TensorRT-LLM

TensorRT-LLM

Thư viện của NVIDIA để chạy mô hình AI nhanh nhất có thể trên card đồ hoạ NVIDIA

TensorRT-LLM là thư viện mã nguồn mở của NVIDIA tối ưu việc chạy (suy luận) mô hình ngôn ngữ và mô hình tạo ảnh, video trên GPU NVIDIA. Nó dựa trên PyTorch, có Python API đơn giản và lệnh trtllm-serve để mở máy chủ tương thích OpenAI. Dành cho kỹ sư triển khai AI ở quy mô máy chủ, không phải công cụ để dân văn phòng chat thử.

  • 15.082 sao
  • 2.938 fork
  • Python
  • Cập nhật hôm nay
  • Giấy phép riêng, xem trên GitHub
Độ khó
Khó Dành cho người biết lập trình
Dạng
Thư viện lập trình, Dòng lệnh (CLI)
Chạy trên
Linux, Docker, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng TensorRT-LLM

Theo tài liệu Quick Start, cách nhanh nhất để thử là kéo sẵn container phát hành trên NGC (kho container của NVIDIA) rồi chạy bên trong. Trong container, bạn gõ lệnh trtllm-serve kèm tên mô hình trên Hugging Face. Máy chủ khởi động và mở các endpoint kiểu OpenAI như v1/chat/completions để bạn gọi bằng curl hoặc bất kỳ ứng dụng nào.

Nếu thích dùng trong code, bạn dùng LLM API bằng Python: chỉ định tên mô hình hoặc đường dẫn checkpoint, thư viện lo tải, tối ưu và chạy. Ngoài ra có VisualGen API cho mô hình tạo ảnh và video bằng diffusion, ví dụ tài liệu dùng Wan 2.1 để sinh video.

Phần giá trị thật sự lộ ra khi chạy ở quy mô lớn: nhiều GPU, nhiều máy, các kỹ thuật tối ưu như quantization FP8, speculative decoding, tách prefill và decode. Vì vậy với người dùng cá nhân có một card RTX, các công cụ như Ollama hay llama.cpp thường dễ và đủ dùng hơn.

Tính năng nổi bật

Máy chủ tương thích OpenAI

Lệnh trtllm-serve mở API chat completions để ứng dụng hiện có kết nối vào mà ít phải sửa.

LLM API bằng Python

Chỉ cần tên mô hình hoặc checkpoint, thư viện tự lo nạp, tối ưu và chạy trên một hoặc nhiều GPU.

Tối ưu chuyên sâu cho GPU NVIDIA

Có kernel riêng cho attention, GEMM, MoE và các kỹ thuật như speculative decoding, parallelism nhiều GPU và nhiều máy.

Hỗ trợ mô hình đã lượng tử hoá

Có thể dùng các checkpoint nén như bản FP8 do NVIDIA công bố trên Hugging Face, miễn GPU hỗ trợ FP8.

VisualGen cho ảnh và video

API riêng cho mô hình diffusion để tạo ảnh và video, có ví dụ với Wan 2.1.

Công cụ đo hiệu năng

Có trtllm-bench để benchmark, giúp bạn tinh chỉnh cấu hình trước khi đưa vào chạy thật.

Tận dụng TensorRT-LLM vào việc gì?

Kỹ sư hạ tầng, doanh nghiệp có GPU NVIDIA

Dựng máy chủ AI nội bộ tốc độ cao

Phục vụ nhiều người dùng cùng lúc với độ trễ thấp, ví dụ chatbot nội bộ hay hệ thống trả lời khách hàng.

Đội MLOps

Tối ưu chi phí GPU

Thử các bản lượng tử hoá và cấu hình khác nhau để chạy cùng một mô hình trên ít card hơn.

Studio, nhóm nghiên cứu

Sinh video và ảnh quy mô lớn

Dùng VisualGen API để chạy mô hình tạo video trên nhiều GPU.

Lập trình viên nền tảng

Làm backend cho nền tảng AI khác

Kết hợp với Dynamo hoặc Triton Inference Server theo tài liệu để xây hệ thống phục vụ lớn.

Sinh viên, kỹ sư học máy

Học cách triển khai LLM chuyên nghiệp

Đọc blog kỹ thuật và tài liệu kiến trúc để hiểu các kỹ thuật tối ưu suy luận.

Cần chuẩn bị gì?

  • GPU NVIDIA; mức hỗ trợ cụ thể xem trang Supported Hardware trong tài liệu chính thức.
  • Linux với driver NVIDIA phù hợp; cách nhanh nhất là chạy trong container NGC có sẵn môi trường.
  • Python 3.10 hoặc 3.12 theo huy hiệu trong README.
  • VRAM đủ cho mô hình bạn chọn; không có con số chung vì phụ thuộc mô hình và mức nén.

Hướng dẫn cài đặt chi tiết

Cài trên Docker (khuyến nghị)

  1. Cài driver NVIDIA, Docker và NVIDIA Container Toolkit trên Linux. Tài liệu nói cách nhanh nhất là dùng container phát hành dựng sẵn trên NGC (registry của NVIDIA). Kéo image; thay số phiên bản bằng tag bạn muốn (tag mẫu trong docs là 1.4.0rc3, nếu tag lỗi hãy thử container của bản phát hành trước).

    Terminal
    docker pull nvcr.io/nvidia/tensorrt-llm/release:1.4.0rc3
  2. Nếu bạn clone repo TensorRT-LLM, có thể chạy container bằng make; thêm LOCAL_USER=1 để chạy bằng người dùng của bạn thay vì root. Quan trọng: docs cảnh báo phải đặt --ipc=host nếu tự chạy docker run, nếu không sẽ gặp lỗi Bus error.

    Terminal
    make -C docker release_run
  3. Bên trong container, kiểm tra lệnh trtllm-serve đã sẵn sàng.

    Terminal
    trtllm-serve --help
  4. Tag và lệnh cụ thể thay đổi theo từng bản phát hành, nên xem trang container chính thức để lấy tag mới nhất.

    Văn bản
    https://nvidia.github.io/TensorRT-LLM/installation/containers.html

Cài trên pip trên Linux

  1. Docs hướng dẫn cho Ubuntu 24.04. Cần cài CUDA Toolkit 13.1 theo hướng dẫn của NVIDIA và đặt biến môi trường CUDA_HOME cho đúng. Có thể cần thêm gói cuda-compat-13-1 tuỳ driver.

    Văn bản
    https://nvidia.github.io/TensorRT-LLM/installation/linux.html
  2. Cài PyTorch bản CUDA 13.0 để khớp với bản build của TensorRT-LLM, cùng thư viện hệ thống cần thiết. Gói libzmq3-dev chỉ cần nếu dùng disaggregated serving.

    Terminal
    pip3 install torch==2.10.0 torchvision --index-url https://download.pytorch.org/whl/cu130
    sudo apt-get -y install libopenmpi-dev
    sudo apt-get -y install libzmq3-dev
  3. Cài gói TensorRT-LLM dựng sẵn từ PyPI. Lưu ý: bản wheel này build với PyTorch 2.10.0, có thể không khớp với container PyTorch của NGC; khi đó dùng wheel có sẵn trong container phát hành của TensorRT-LLM.

    Terminal
    pip3 install --ignore-installed pip setuptools wheel && pip3 install tensorrt_llm
  4. Trước khi cài, kiểm tra bảng phần cứng và mô hình được hỗ trợ để chắc GPU của bạn dùng được.

    Văn bản
    https://nvidia.github.io/TensorRT-LLM/reference/support-matrix.html

Dùng thử lần đầu

  1. Trong container, khởi động máy chủ với mô hình nhỏ làm ví dụ theo tài liệu Quick Start. Lần đầu sẽ tải mô hình từ Hugging Face.

    Terminal
    trtllm-serve "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
  2. Mở cổng ra ngoài container hoặc vào container bằng docker exec, rồi gọi thử API chat từ Terminal khác. Ví dụ trong tài liệu dùng cổng 8000.

    Terminal
    curl -X POST http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "TinyLlama/TinyLlama-1.1B-Chat-v1.0", "messages": [{"role": "user", "content": "Xin chào"}], "max_tokens": 32}'
  3. Nếu GPU hỗ trợ FP8, thử mô hình đã lượng tử hoá do NVIDIA công bố để so sánh tốc độ và bộ nhớ.

    Terminal
    trtllm-serve "nvidia/Qwen3-8B-FP8"
  4. Đọc thêm các deployment guide cho từng mô hình phổ biến trong tài liệu để lấy cấu hình đã tinh chỉnh sẵn.

Mẹo dùng hay

  • Bắt đầu bằng mô hình nhỏ như TinyLlama để kiểm tra môi trường, sau đó mới sang mô hình lớn thật.
  • Dùng trtllm-bench để đo hiệu năng trước khi đưa vào dùng thật.
  • README nêu cách tắt thu thập telemetry bằng cờ --no-telemetry trên các lệnh trtllm-serve, trtllm-bench, trtllm-eval nếu bạn muốn.

Lưu ý và hạn chế

  • Chỉ dành cho GPU NVIDIA; card AMD, Intel hoặc Mac không dùng được.
  • Phiên bản phát triển nhanh và README hiện ghi bản 1.4.0 release candidate, nên lệnh và hành vi có thể thay đổi giữa các bản.
  • Cài và cấu hình đòi hỏi kiến thức Linux, Docker, CUDA; người mới nên dùng công cụ đơn giản hơn trước.

Câu hỏi thường gặp

TensorRT-LLM có miễn phí không?

Có, mã nguồn mở theo giấy phép Apache 2.0 như file LICENSE của dự án. Bạn cần GPU NVIDIA để tận dụng.

Máy tính cá nhân có dùng được không?

Có thể nếu bạn có GPU NVIDIA được hỗ trợ và chạy Linux hoặc container, nhưng với nhu cầu cá nhân Ollama hoặc LM Studio dễ hơn nhiều.

Khác gì vLLM?

Cả hai đều là bộ máy phục vụ mô hình lớn có API kiểu OpenAI. TensorRT-LLM do NVIDIA làm riêng cho GPU NVIDIA, còn vLLM hỗ trợ rộng hơn về phần cứng.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/NVIDIA/TensorRT-LLM.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân9,7K

Xinference

xorbitsai / inference

Nền tảng tự cài để chạy và quản lý hàng trăm mô hình AI qua giao diện web và API kiểu OpenAI

VừaLinuxmacOSDockerPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo