Chuyển đến nội dung

sgl-project / sglang

SGLang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

SGLang là framework mã nguồn mở để chạy và phục vụ (serving) mô hình ngôn ngữ, mô hình nhìn ảnh và mô hình sinh ảnh, video, tối ưu cho tác vụ agent và triển khai quy mô lớn. Nó hỗ trợ nhiều phần cứng từ GPU NVIDIA, AMD đến TPU, NPU và cả Mac Apple Silicon. Đây là công cụ cho kỹ sư triển khai AI, không phải ứng dụng cho người dùng cuối.

  • 38.942 sao
  • 10.534 fork
  • Python
  • Cập nhật hôm nay
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Thư viện lập trình, Dòng lệnh (CLI)
Chạy trên
Docker, Python, Linux
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng SGLang

Bạn có hai lối vào: kéo image Docker lmsysorg/sglang:latest đã đóng gói sẵn mọi thứ, hoặc cài vào môi trường Python bằng uv. README còn nhắc bạn tới trang Cookbook, nơi chọn mô hình và phần cứng rồi nhận lệnh khởi chạy viết sẵn, tiện hơn nhiều so với tự mò tham số.

Sau khi chạy mô hình, bạn gửi yêu cầu tới server như với các dịch vụ AI khác. Trang Quickstart của docs hướng dẫn chạy mô hình đầu tiên và gửi yêu cầu thử. Mình không lấy được trang đó để trích lệnh nên bài này không đưa lệnh khởi chạy cụ thể; hãy lấy lệnh chính thức từ Cookbook.

Ngoài chạy mô hình ngôn ngữ, SGLang còn có SGLang Diffusion (tạo ảnh và video bằng mô hình khuếch tán, có sẵn trong gói), cùng hệ sinh thái như SGLang Omni cho âm thanh, và các công cụ phục vụ huấn luyện, triển khai trên cụm máy. Với người thường, đây là mức quá sâu; dùng Ollama hay LM Studio sẽ nhẹ nhàng hơn nhiều.

Tính năng nổi bật

Phục vụ mô hình hiệu năng cao

Tối ưu cho agent, phục vụ quy mô lớn và việc sinh dữ liệu cho học tăng cường theo mô tả của README.

Hỗ trợ rất nhiều phần cứng

GPU NVIDIA (từ dòng RTX đến H100, B200), AMD Instinct, Google TPU, Intel, Huawei Ascend và Apple Silicon.

SGLang Diffusion

Công cụ tạo ảnh và video bằng mô hình khuếch tán có sẵn trong cùng gói Python.

Cookbook lệnh khởi chạy

Chọn mô hình và phần cứng để nhận lệnh sẵn sàng chạy, đỡ phải tự cân chỉnh.

Hệ sinh thái đi kèm

Có SGLang Omni cho TTS/ASR, SpecForge để huấn luyện mô hình nháp cho speculative decoding và các công cụ triển khai, điều phối.

Tận dụng SGLang vào việc gì?

Kỹ sư triển khai, startup AI

Máy chủ suy luận cho sản phẩm AI

Phục vụ mô hình mở với thông lượng cao cho ứng dụng có nhiều người dùng.

Lập trình viên

Hệ thống agent cần gọi mô hình liên tục

Chạy các luồng agent có nhiều lượt gọi mô hình với chi phí hạ tầng thấp hơn.

Nhà nghiên cứu

Sinh dữ liệu cho huấn luyện

Dùng SGLang làm engine rollout cho các framework huấn luyện RL mà README liệt kê.

Người làm sản phẩm sáng tạo

Thử nghiệm tạo ảnh, video bằng GPU máy chủ

Dùng SGLang Diffusion trên GPU để chạy các mô hình tạo ảnh, video mã nguồn mở.

Cần chuẩn bị gì?

  • Máy chủ có GPU hoặc bộ tăng tốc được hỗ trợ (NVIDIA, AMD, TPU...); Apple Silicon có tài liệu riêng.
  • Docker hoặc môi trường Python với uv.
  • Kiến thức Linux và dòng lệnh; dung lượng VRAM tuỳ mô hình bạn chọn.

Hướng dẫn cài đặt chi tiết

Cài trên Docker

  1. Cần Docker Engine và NVIDIA Container Toolkit. Docs hiện nói image CUDA 12 không còn được phát hành, bản mới dùng CUDA 13. Kéo image chính thức, đã gồm SGLang và các phụ thuộc.

    Terminal
    docker pull lmsysorg/sglang:latest
  2. Chạy container với quyền dùng GPU, cổng 30000 và thư mục cache Hugging Face để mô hình tải về không bị mất. Thay /DUONG/DAN/HF_CACHE bằng đường dẫn tuyệt đối trên máy bạn. Với mô hình cần đăng nhập, đặt biến HF_TOKEN trên máy và thêm --env HF_TOKEN trước tên image.

    Terminal
    HF_CACHE_DIR="/DUONG/DAN/HF_CACHE"
    docker run -it --gpus all \
      --shm-size 32g \
      -p 30000:30000 \
      -v "$HF_CACHE_DIR:/root/.cache/huggingface" \
      --ipc=host \
      lmsysorg/sglang:latest bash
  3. Trong container, khởi chạy server. Thay TEN_MO_HINH bằng ID mô hình trên Hugging Face hoặc thư mục cục bộ. Server lắng nghe ở cổng 30000. Muốn lệnh viết sẵn cho từng mô hình và phần cứng thì xem Cookbook.

    Terminal
    sglang serve TEN_MO_HINH --host 0.0.0.0 --port 30000
  4. Muốn cố định phiên bản để triển khai ổn định, dùng một tag phát hành cụ thể trên Docker Hub thay cho latest.

    Văn bản
    https://cookbook.sglang.io/

Cài trên Python (uv)

  1. Yêu cầu Python 3.11 trở lên và CUDA 13. Tạo môi trường ảo bằng uv rồi cài SGLang. Cờ --prerelease=allow là cần thiết, nếu không uv cũ có thể cài nhầm bản rất cũ.

    Terminal
    pip install --upgrade pip
    pip install uv
    uv venv --python 3.12
    source .venv/bin/activate
    uv pip install --prerelease=allow sglang
  2. Khởi chạy server với mô hình bạn chọn, rồi mở Quickstart để gửi yêu cầu thử.

    Terminal
    sglang serve TEN_MO_HINH --host 0.0.0.0 --port 30000
  3. Nếu gặp lỗi CUDA_HOME, đặt biến CUDA_HOME trỏ tới thư mục CUDA Toolkit (thường dạng /usr/local/cuda-PHIEN_BAN). Cài từ mã nguồn và bản nightly có hướng dẫn ở trang chính thức.

    Văn bản
    https://docs.sglang.io/docs/get-started/quickstart

Dùng thử lần đầu

  1. Cài bằng Docker hoặc uv như trên và kiểm tra GPU đã được nhận (driver đúng, chạy được nvidia-smi).

  2. Vào Cookbook, chọn mô hình và phần cứng của bạn để lấy lệnh khởi chạy được viết sẵn.

    Văn bản
    https://cookbook.sglang.io/
  3. Chạy lệnh sglang serve trong Terminal, đợi mô hình tải xong và server báo sẵn sàng ở cổng 30000.

  4. Làm theo Quickstart để gửi yêu cầu đầu tiên tới server, bắt đầu bằng mô hình nhỏ để dễ kiểm tra.

Mẹo dùng hay

  • Bắt đầu với mô hình nhỏ để xác nhận môi trường chạy được trước khi thử mô hình lớn.
  • Xem trang Supported Hardware trong docs để chọn đúng hướng dẫn cho GPU hoặc NPU của bạn.
  • Nếu chỉ cần chat cá nhân, Ollama hoặc llama.cpp đơn giản hơn nhiều.

Lưu ý và hạn chế

  • Không dành cho người dùng cuối; cần hạ tầng GPU và kỹ năng triển khai.
  • Mình chưa xác nhận được lệnh khởi chạy cụ thể và cổng mặc định từ README, hãy lấy từ Cookbook và Quickstart chính thức.
  • Hỗ trợ phần cứng và mô hình thay đổi nhanh theo từng phiên bản; luôn đối chiếu docs mới nhất.

Câu hỏi thường gặp

SGLang có miễn phí không?

Có, mã nguồn mở giấy phép Apache-2.0. Chi phí là phần cứng hoặc tiền thuê máy chủ GPU.

SGLang khác vLLM thế nào?

Cả hai đều là engine phục vụ mô hình hiệu năng cao. SGLang nhấn mạnh agent, phục vụ quy mô lớn và hệ sinh thái riêng; hãy thử cả hai với mô hình và phần cứng của bạn để so sánh.

Chạy được trên Mac không?

README liệt kê Apple Silicon là nền tảng hỗ trợ qua Metal hoặc MLX, với tài liệu riêng trong mục hardware platforms.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/sgl-project/sglang.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân15,1K

TensorRT-LLM

NVIDIA / TensorRT-LLM

Thư viện của NVIDIA để chạy mô hình AI nhanh nhất có thể trên card đồ hoạ NVIDIA

KhóLinuxDockerPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux
Chạy AI trên máy cá nhân25,3K

Google AI Edge Gallery

google-ai-edge / gallery

Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư

DễAndroidiOSmacOS

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo