Trải nghiệm khi dùng SGLang
Bạn có hai lối vào: kéo image Docker lmsysorg/sglang:latest đã đóng gói sẵn mọi thứ, hoặc cài vào môi trường Python bằng uv. README còn nhắc bạn tới trang Cookbook, nơi chọn mô hình và phần cứng rồi nhận lệnh khởi chạy viết sẵn, tiện hơn nhiều so với tự mò tham số.
Sau khi chạy mô hình, bạn gửi yêu cầu tới server như với các dịch vụ AI khác. Trang Quickstart của docs hướng dẫn chạy mô hình đầu tiên và gửi yêu cầu thử. Mình không lấy được trang đó để trích lệnh nên bài này không đưa lệnh khởi chạy cụ thể; hãy lấy lệnh chính thức từ Cookbook.
Ngoài chạy mô hình ngôn ngữ, SGLang còn có SGLang Diffusion (tạo ảnh và video bằng mô hình khuếch tán, có sẵn trong gói), cùng hệ sinh thái như SGLang Omni cho âm thanh, và các công cụ phục vụ huấn luyện, triển khai trên cụm máy. Với người thường, đây là mức quá sâu; dùng Ollama hay LM Studio sẽ nhẹ nhàng hơn nhiều.
Tính năng nổi bật
Phục vụ mô hình hiệu năng cao
Tối ưu cho agent, phục vụ quy mô lớn và việc sinh dữ liệu cho học tăng cường theo mô tả của README.
Hỗ trợ rất nhiều phần cứng
GPU NVIDIA (từ dòng RTX đến H100, B200), AMD Instinct, Google TPU, Intel, Huawei Ascend và Apple Silicon.
SGLang Diffusion
Công cụ tạo ảnh và video bằng mô hình khuếch tán có sẵn trong cùng gói Python.
Cookbook lệnh khởi chạy
Chọn mô hình và phần cứng để nhận lệnh sẵn sàng chạy, đỡ phải tự cân chỉnh.
Hệ sinh thái đi kèm
Có SGLang Omni cho TTS/ASR, SpecForge để huấn luyện mô hình nháp cho speculative decoding và các công cụ triển khai, điều phối.
Tận dụng SGLang vào việc gì?
Kỹ sư triển khai, startup AI
Máy chủ suy luận cho sản phẩm AI
Phục vụ mô hình mở với thông lượng cao cho ứng dụng có nhiều người dùng.
Lập trình viên
Hệ thống agent cần gọi mô hình liên tục
Chạy các luồng agent có nhiều lượt gọi mô hình với chi phí hạ tầng thấp hơn.
Nhà nghiên cứu
Sinh dữ liệu cho huấn luyện
Dùng SGLang làm engine rollout cho các framework huấn luyện RL mà README liệt kê.
Người làm sản phẩm sáng tạo
Thử nghiệm tạo ảnh, video bằng GPU máy chủ
Dùng SGLang Diffusion trên GPU để chạy các mô hình tạo ảnh, video mã nguồn mở.
Cần chuẩn bị gì?
- Máy chủ có GPU hoặc bộ tăng tốc được hỗ trợ (NVIDIA, AMD, TPU...); Apple Silicon có tài liệu riêng.
- Docker hoặc môi trường Python với uv.
- Kiến thức Linux và dòng lệnh; dung lượng VRAM tuỳ mô hình bạn chọn.
Hướng dẫn cài đặt chi tiết
Cài trên Docker
Cần Docker Engine và NVIDIA Container Toolkit. Docs hiện nói image CUDA 12 không còn được phát hành, bản mới dùng CUDA 13. Kéo image chính thức, đã gồm SGLang và các phụ thuộc.
docker pull lmsysorg/sglang:latestChạy container với quyền dùng GPU, cổng 30000 và thư mục cache Hugging Face để mô hình tải về không bị mất. Thay /DUONG/DAN/HF_CACHE bằng đường dẫn tuyệt đối trên máy bạn. Với mô hình cần đăng nhập, đặt biến HF_TOKEN trên máy và thêm --env HF_TOKEN trước tên image.
HF_CACHE_DIR="/DUONG/DAN/HF_CACHE" docker run -it --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v "$HF_CACHE_DIR:/root/.cache/huggingface" \ --ipc=host \ lmsysorg/sglang:latest bashTrong container, khởi chạy server. Thay TEN_MO_HINH bằng ID mô hình trên Hugging Face hoặc thư mục cục bộ. Server lắng nghe ở cổng 30000. Muốn lệnh viết sẵn cho từng mô hình và phần cứng thì xem Cookbook.
sglang serve TEN_MO_HINH --host 0.0.0.0 --port 30000Muốn cố định phiên bản để triển khai ổn định, dùng một tag phát hành cụ thể trên Docker Hub thay cho latest.
https://cookbook.sglang.io/
Cài trên Python (uv)
Yêu cầu Python 3.11 trở lên và CUDA 13. Tạo môi trường ảo bằng uv rồi cài SGLang. Cờ --prerelease=allow là cần thiết, nếu không uv cũ có thể cài nhầm bản rất cũ.
pip install --upgrade pip pip install uv uv venv --python 3.12 source .venv/bin/activate uv pip install --prerelease=allow sglangKhởi chạy server với mô hình bạn chọn, rồi mở Quickstart để gửi yêu cầu thử.
sglang serve TEN_MO_HINH --host 0.0.0.0 --port 30000Nếu gặp lỗi CUDA_HOME, đặt biến CUDA_HOME trỏ tới thư mục CUDA Toolkit (thường dạng /usr/local/cuda-PHIEN_BAN). Cài từ mã nguồn và bản nightly có hướng dẫn ở trang chính thức.
https://docs.sglang.io/docs/get-started/quickstart
Dùng thử lần đầu
Cài bằng Docker hoặc uv như trên và kiểm tra GPU đã được nhận (driver đúng, chạy được nvidia-smi).
Vào Cookbook, chọn mô hình và phần cứng của bạn để lấy lệnh khởi chạy được viết sẵn.
https://cookbook.sglang.io/Chạy lệnh sglang serve trong Terminal, đợi mô hình tải xong và server báo sẵn sàng ở cổng 30000.
Làm theo Quickstart để gửi yêu cầu đầu tiên tới server, bắt đầu bằng mô hình nhỏ để dễ kiểm tra.
Mẹo dùng hay
- Bắt đầu với mô hình nhỏ để xác nhận môi trường chạy được trước khi thử mô hình lớn.
- Xem trang Supported Hardware trong docs để chọn đúng hướng dẫn cho GPU hoặc NPU của bạn.
- Nếu chỉ cần chat cá nhân, Ollama hoặc llama.cpp đơn giản hơn nhiều.
Lưu ý và hạn chế
- Không dành cho người dùng cuối; cần hạ tầng GPU và kỹ năng triển khai.
- Mình chưa xác nhận được lệnh khởi chạy cụ thể và cổng mặc định từ README, hãy lấy từ Cookbook và Quickstart chính thức.
- Hỗ trợ phần cứng và mô hình thay đổi nhanh theo từng phiên bản; luôn đối chiếu docs mới nhất.
Câu hỏi thường gặp
SGLang có miễn phí không?
Có, mã nguồn mở giấy phép Apache-2.0. Chi phí là phần cứng hoặc tiền thuê máy chủ GPU.
SGLang khác vLLM thế nào?
Cả hai đều là engine phục vụ mô hình hiệu năng cao. SGLang nhấn mạnh agent, phục vụ quy mô lớn và hệ sinh thái riêng; hãy thử cả hai với mô hình và phần cứng của bạn để so sánh.
Chạy được trên Mac không?
README liệt kê Apple Silicon là nền tảng hỗ trợ qua Metal hoặc MLX, với tài liệu riêng trong mục hardware platforms.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/sgl-project/sglang.gitRepo tương tự nên xem
vLLM
vllm-project / vllm
Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac
TensorRT-LLM
NVIDIA / TensorRT-LLM
Thư viện của NVIDIA để chạy mô hình AI nhanh nhất có thể trên card đồ hoạ NVIDIA