Trải nghiệm khi dùng Xinference
Bạn cài bằng pip rồi chạy lệnh khởi động máy chủ cục bộ. Mở địa chỉ hiện trong README, lần đầu bạn dùng mã thiết lập in trong log để tạo tài khoản quản trị rồi đăng nhập. Giao diện web có mục Launch Model để tìm mô hình, bấm gợi ý cấu hình theo phần cứng và triển khai.
Khi mô hình đã chạy, bạn thử ngay trong phần Running Models bằng một khung chat, và tạo khoá API trong mục quản lý khoá để các ứng dụng khác gọi vào qua địa chỉ tương thích OpenAI. Ứng dụng nào đã hỗ trợ OpenAI chỉ cần đổi địa chỉ và khoá.
Điểm mạnh là gom nhiều loại mô hình và nhiều engine (vLLM, SGLang, TRT-LLM, Transformers, llama.cpp, MLX) dưới cùng một giao diện, và mở rộng sang nhiều máy khi cần. Đổi lại, nó là công cụ cho người rành kỹ thuật, và lần chạy đầu phải tải mô hình cùng các thư viện phụ thuộc nên khá lâu.
Tính năng nổi bật
Hơn 300 mô hình dựng sẵn
Gồm mô hình ngôn ngữ, ảnh, âm thanh, video, embedding, rerank, và cho phép đăng ký mô hình của riêng bạn.
Giao diện web quản lý
Khởi chạy, theo dõi và thử mô hình ngay trong trình duyệt, có nút gợi ý cấu hình theo phần cứng.
API kiểu OpenAI và Anthropic
Hỗ trợ streaming và gọi công cụ ở nơi mô hình cho phép, nên dễ gắn với các ứng dụng AI hiện có.
Chọn engine tuỳ ý
Dùng vLLM, SGLang, TRT-LLM, Transformers, llama.cpp hoặc MLX cho mô hình ngôn ngữ, tuỳ phần cứng và nhu cầu.
Chạy phân tán
Chạy trên một máy, thêm worker và replica, hoặc chia một mô hình lớn ra nhiều máy với engine hỗ trợ.
Đo hiệu năng ngay trong giao diện
Có phần benchmark cho mô hình chat đang chạy, giúp bạn chọn cấu hình hợp lý.
Tận dụng Xinference vào việc gì?
IT nội bộ, đội dữ liệu
Máy chủ mô hình dùng chung cho công ty
Dựng một nơi duy nhất để cả công ty gọi mô hình ngôn ngữ, embedding và rerank, thay vì mỗi người tự cài.
Lập trình viên AI
Làm nguồn mô hình cho Dify hoặc ứng dụng RAG
Cung cấp mô hình chat, embedding và rerank cục bộ để xây ứng dụng hỏi đáp tài liệu nội bộ.
Kỹ sư học máy
So sánh nhiều mô hình trên cùng phần cứng
Khởi chạy nhiều mô hình khác nhau rồi chạy benchmark để chọn mô hình hợp ngân sách GPU.
Người làm nội dung có kỹ thuật
Chạy mô hình giọng nói và ảnh cục bộ
Cùng nền tảng chạy được mô hình ảnh, âm thanh, video; nhớ tôn trọng bản quyền và đồng ý của người liên quan khi tạo nội dung.
Sinh viên, kỹ sư mới
Học cách vận hành mô hình ở quy mô nhỏ
Thực hành cài, đăng ký mô hình, tạo khoá API và gọi API giống môi trường thật.
Cần chuẩn bị gì?
- Python và pip; nên dùng môi trường ảo riêng.
- RAM và GPU tuỳ mô hình bạn chọn, giao diện có gợi ý cấu hình theo phần cứng.
- Kết nối Internet cho lần chạy đầu để tải mô hình và cài các phụ thuộc engine cần thiết.
- Với chạy cụm nhiều máy cần mạng nội bộ ổn định và kiến thức vận hành server.
Hướng dẫn cài đặt chi tiết
Cài trên pip
Tạo môi trường ảo Python cho gọn, rồi kích hoạt nó (Windows PowerShell dùng lệnh .venv\Scripts\Activate.ps1 thay cho lệnh source).
python -m venv .venv source .venv/bin/activateCài Xinference và khởi động máy chủ cục bộ. Xinference tải mô hình và cài các engine cần thiết ở lần chạy đầu nên lần đầu sẽ lâu hơn.
pip install xinference xinference-local --host 127.0.0.1Mở giao diện web. Ở lần đầu, dùng mã thiết lập (setup token) in trong log của máy chủ để tạo tài khoản quản trị, rồi đăng nhập.
http://127.0.0.1:9997Muốn dùng nhanh mà không cài lâu dài, docs có hai cách: chạy tạm bằng uv, hoặc lệnh cài một dòng cho Linux/macOS (chạy server ở cổng 9997, thoát bằng Ctrl+C). Muốn chạy nền như một dịch vụ thì sau khi cài bằng pip dùng lệnh đăng ký dịch vụ.
uvx --python 3.12 --from xinference xinference-local curl -fsSL https://raw.githubusercontent.com/xorbitsai/inference/main/scripts/install.sh | sh xinference service install --startMô hình tải về được lưu trong thư mục do biến XINFERENCE_HOME quyết định (mặc định tài khoản chạy dịch vụ dùng ~/.xinference trên Linux và macOS). Cập nhật bằng cách cài lại gói mới nhất.
pip install -U xinference
Cài trên Docker (GPU NVIDIA)
Image chính thức là xprobe/xinference trên Docker Hub. Bản GPU cần máy có card NVIDIA, Docker và NVIDIA Container Toolkit; docs ghi CUDA trên máy chủ tối thiểu 13.0 và driver 580 trở lên (kiểm tra bằng nvidia-smi). Tag latest là bản phát hành mới nhất, tag v<số phiên bản> ổn định hơn; bản CPU thêm hậu tố -cpu.
https://hub.docker.com/r/xprobe/xinferenceChạy container. Cờ --gpus là bắt buộc, và tham số -H 0.0.0.0 cũng không được bỏ nếu không máy chủ sẽ không truy cập được cổng bên trong container. Lệnh dưới ánh xạ cổng 9997 trong container ra cổng 9998 của máy, gắn một thư mục trên máy để lưu mô hình đã tải (thay /DUONG/DAN/MAY và PHIEN_BAN bằng giá trị của bạn). Nếu dùng nhiều GPU, thêm --shm-size=128g.
docker run -v /DUONG/DAN/MAY:/data -e XINFERENCE_HOME=/data -p 9998:9997 --gpus all xprobe/xinference:vPHIEN_BAN xinference-local -H 0.0.0.0Mở giao diện web ở cổng đã ánh xạ. Lần chạy đầu mỗi engine sẽ cài gói từ PyPI nên cần internet và lâu hơn.
http://127.0.0.1:9998Docs còn có hướng dẫn Docker Compose và Kubernetes cho cụm nhiều máy.
https://inference.readthedocs.io/en/latest/getting_started/using_docker_image.html
Dùng thử lần đầu
Khởi động máy chủ bằng xinference-local rồi mở giao diện web, tạo tài khoản quản trị bằng mã in trong log.
Vào mục Launch Model, tìm qwen3.5 như ví dụ của README và mở form khởi chạy.
Bấm gợi ý cấu hình để Xinference điền thiết lập hợp với phần cứng, xem lại rồi bấm triển khai. Chờ mô hình tải xong.
Vào Running Models để thử một câu hỏi tiếng Việt ngay trong giao diện.
Tạo khoá API trong phần quản lý khoá, sau đó gọi thử qua API tương thích OpenAI từ ứng dụng của bạn, thay địa chỉ và khoá bằng của Xinference.
Mẹo dùng hay
- Nếu máy chủ chỉ để dùng cục bộ, giữ địa chỉ 127.0.0.1; chỉ mở ra mạng khi thật sự cần và đã bật xác thực.
- Xem danh mục mô hình trong tài liệu để chọn đúng kích cỡ mô hình, đừng chọn mô hình vượt quá VRAM và RAM.
- Khi nối với ứng dụng như Dify, tận dụng thêm mô hình embedding và rerank chạy cục bộ để dữ liệu nội bộ không ra ngoài.
Lưu ý và hạn chế
- Là công cụ cho người có kinh nghiệm: phải hiểu Python, GPU, driver và cách chọn engine; người mới có thể thấy lúng túng.
- Lần chạy đầu tải mô hình và thư viện nên lâu, tốn nhiều dung lượng; mô hình lớn cần GPU mạnh.
- Có bản Enterprise trả phí riêng; bản mã nguồn mở là Apache 2.0, nhưng một số mô hình bạn nạp có giấy phép hạn chế.
Câu hỏi thường gặp
Xinference có miễn phí không?
Bản mã nguồn mở miễn phí theo giấy phép Apache 2.0. Có thêm bản Xinference Enterprise trả phí cho doanh nghiệp.
Có tiếng Việt không?
Giao diện web hỗ trợ tiếng Anh, Trung giản thể, Trung phồn thể, Nhật, Hàn, chưa có tiếng Việt. Còn việc mô hình trả lời tiếng Việt tốt hay không tuỳ mô hình bạn chọn.
Khác gì Ollama?
Ollama đơn giản, hợp dùng cá nhân. Xinference thiên về nền tảng triển khai có giao diện quản lý, nhiều loại mô hình, nhiều engine và chạy phân tán, hợp với đội kỹ thuật hơn.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/xorbitsai/inference.gitRepo tương tự nên xem
LocalAI
mudler / LocalAI
Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU
vLLM
vllm-project / vllm
Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc
GPUStack
gpustack / gpustack
Quản lý cụm GPU và triển khai mô hình AI cho cả đội, có giao diện web và API kiểu OpenAI