Chuyển đến nội dung

xorbitsai / inference

Xinference

Nền tảng tự cài để chạy và quản lý hàng trăm mô hình AI qua giao diện web và API kiểu OpenAI

Xinference (Xorbits Inference) là nền tảng suy luận mã nguồn mở cho phép triển khai mô hình ngôn ngữ, hình ảnh, âm thanh, video, embedding và rerank từ một máy đơn đến cả cụm máy. Nó có sẵn hơn 300 mô hình tích hợp, giao diện web để khởi chạy và thử, cùng API tương thích OpenAI và Anthropic. Hợp với đội kỹ thuật muốn dựng một máy chủ mô hình dùng chung cho công ty.

  • 9.658 sao
  • 901 fork
  • Python
  • Cập nhật hôm qua
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Web tự cài (self-host), Thư viện lập trình
Chạy trên
Linux, macOS, Docker, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng Xinference

Bạn cài bằng pip rồi chạy lệnh khởi động máy chủ cục bộ. Mở địa chỉ hiện trong README, lần đầu bạn dùng mã thiết lập in trong log để tạo tài khoản quản trị rồi đăng nhập. Giao diện web có mục Launch Model để tìm mô hình, bấm gợi ý cấu hình theo phần cứng và triển khai.

Khi mô hình đã chạy, bạn thử ngay trong phần Running Models bằng một khung chat, và tạo khoá API trong mục quản lý khoá để các ứng dụng khác gọi vào qua địa chỉ tương thích OpenAI. Ứng dụng nào đã hỗ trợ OpenAI chỉ cần đổi địa chỉ và khoá.

Điểm mạnh là gom nhiều loại mô hình và nhiều engine (vLLM, SGLang, TRT-LLM, Transformers, llama.cpp, MLX) dưới cùng một giao diện, và mở rộng sang nhiều máy khi cần. Đổi lại, nó là công cụ cho người rành kỹ thuật, và lần chạy đầu phải tải mô hình cùng các thư viện phụ thuộc nên khá lâu.

Tính năng nổi bật

Hơn 300 mô hình dựng sẵn

Gồm mô hình ngôn ngữ, ảnh, âm thanh, video, embedding, rerank, và cho phép đăng ký mô hình của riêng bạn.

Giao diện web quản lý

Khởi chạy, theo dõi và thử mô hình ngay trong trình duyệt, có nút gợi ý cấu hình theo phần cứng.

API kiểu OpenAI và Anthropic

Hỗ trợ streaming và gọi công cụ ở nơi mô hình cho phép, nên dễ gắn với các ứng dụng AI hiện có.

Chọn engine tuỳ ý

Dùng vLLM, SGLang, TRT-LLM, Transformers, llama.cpp hoặc MLX cho mô hình ngôn ngữ, tuỳ phần cứng và nhu cầu.

Chạy phân tán

Chạy trên một máy, thêm worker và replica, hoặc chia một mô hình lớn ra nhiều máy với engine hỗ trợ.

Đo hiệu năng ngay trong giao diện

Có phần benchmark cho mô hình chat đang chạy, giúp bạn chọn cấu hình hợp lý.

Tận dụng Xinference vào việc gì?

IT nội bộ, đội dữ liệu

Máy chủ mô hình dùng chung cho công ty

Dựng một nơi duy nhất để cả công ty gọi mô hình ngôn ngữ, embedding và rerank, thay vì mỗi người tự cài.

Lập trình viên AI

Làm nguồn mô hình cho Dify hoặc ứng dụng RAG

Cung cấp mô hình chat, embedding và rerank cục bộ để xây ứng dụng hỏi đáp tài liệu nội bộ.

Kỹ sư học máy

So sánh nhiều mô hình trên cùng phần cứng

Khởi chạy nhiều mô hình khác nhau rồi chạy benchmark để chọn mô hình hợp ngân sách GPU.

Người làm nội dung có kỹ thuật

Chạy mô hình giọng nói và ảnh cục bộ

Cùng nền tảng chạy được mô hình ảnh, âm thanh, video; nhớ tôn trọng bản quyền và đồng ý của người liên quan khi tạo nội dung.

Sinh viên, kỹ sư mới

Học cách vận hành mô hình ở quy mô nhỏ

Thực hành cài, đăng ký mô hình, tạo khoá API và gọi API giống môi trường thật.

Cần chuẩn bị gì?

  • Python và pip; nên dùng môi trường ảo riêng.
  • RAM và GPU tuỳ mô hình bạn chọn, giao diện có gợi ý cấu hình theo phần cứng.
  • Kết nối Internet cho lần chạy đầu để tải mô hình và cài các phụ thuộc engine cần thiết.
  • Với chạy cụm nhiều máy cần mạng nội bộ ổn định và kiến thức vận hành server.

Hướng dẫn cài đặt chi tiết

Cài trên pip

  1. Tạo môi trường ảo Python cho gọn, rồi kích hoạt nó (Windows PowerShell dùng lệnh .venv\Scripts\Activate.ps1 thay cho lệnh source).

    Terminal
    python -m venv .venv
    source .venv/bin/activate
  2. Cài Xinference và khởi động máy chủ cục bộ. Xinference tải mô hình và cài các engine cần thiết ở lần chạy đầu nên lần đầu sẽ lâu hơn.

    Terminal
    pip install xinference
    xinference-local --host 127.0.0.1
  3. Mở giao diện web. Ở lần đầu, dùng mã thiết lập (setup token) in trong log của máy chủ để tạo tài khoản quản trị, rồi đăng nhập.

    Văn bản
    http://127.0.0.1:9997
  4. Muốn dùng nhanh mà không cài lâu dài, docs có hai cách: chạy tạm bằng uv, hoặc lệnh cài một dòng cho Linux/macOS (chạy server ở cổng 9997, thoát bằng Ctrl+C). Muốn chạy nền như một dịch vụ thì sau khi cài bằng pip dùng lệnh đăng ký dịch vụ.

    Terminal
    uvx --python 3.12 --from xinference xinference-local
    
    curl -fsSL https://raw.githubusercontent.com/xorbitsai/inference/main/scripts/install.sh | sh
    
    xinference service install --start
  5. Mô hình tải về được lưu trong thư mục do biến XINFERENCE_HOME quyết định (mặc định tài khoản chạy dịch vụ dùng ~/.xinference trên Linux và macOS). Cập nhật bằng cách cài lại gói mới nhất.

    Terminal
    pip install -U xinference

Cài trên Docker (GPU NVIDIA)

  1. Image chính thức là xprobe/xinference trên Docker Hub. Bản GPU cần máy có card NVIDIA, Docker và NVIDIA Container Toolkit; docs ghi CUDA trên máy chủ tối thiểu 13.0 và driver 580 trở lên (kiểm tra bằng nvidia-smi). Tag latest là bản phát hành mới nhất, tag v<số phiên bản> ổn định hơn; bản CPU thêm hậu tố -cpu.

    Văn bản
    https://hub.docker.com/r/xprobe/xinference
  2. Chạy container. Cờ --gpus là bắt buộc, và tham số -H 0.0.0.0 cũng không được bỏ nếu không máy chủ sẽ không truy cập được cổng bên trong container. Lệnh dưới ánh xạ cổng 9997 trong container ra cổng 9998 của máy, gắn một thư mục trên máy để lưu mô hình đã tải (thay /DUONG/DAN/MAY và PHIEN_BAN bằng giá trị của bạn). Nếu dùng nhiều GPU, thêm --shm-size=128g.

    Terminal
    docker run -v /DUONG/DAN/MAY:/data -e XINFERENCE_HOME=/data -p 9998:9997 --gpus all xprobe/xinference:vPHIEN_BAN xinference-local -H 0.0.0.0
  3. Mở giao diện web ở cổng đã ánh xạ. Lần chạy đầu mỗi engine sẽ cài gói từ PyPI nên cần internet và lâu hơn.

    Văn bản
    http://127.0.0.1:9998
  4. Docs còn có hướng dẫn Docker Compose và Kubernetes cho cụm nhiều máy.

    Văn bản
    https://inference.readthedocs.io/en/latest/getting_started/using_docker_image.html

Dùng thử lần đầu

  1. Khởi động máy chủ bằng xinference-local rồi mở giao diện web, tạo tài khoản quản trị bằng mã in trong log.

  2. Vào mục Launch Model, tìm qwen3.5 như ví dụ của README và mở form khởi chạy.

  3. Bấm gợi ý cấu hình để Xinference điền thiết lập hợp với phần cứng, xem lại rồi bấm triển khai. Chờ mô hình tải xong.

  4. Vào Running Models để thử một câu hỏi tiếng Việt ngay trong giao diện.

  5. Tạo khoá API trong phần quản lý khoá, sau đó gọi thử qua API tương thích OpenAI từ ứng dụng của bạn, thay địa chỉ và khoá bằng của Xinference.

Mẹo dùng hay

  • Nếu máy chủ chỉ để dùng cục bộ, giữ địa chỉ 127.0.0.1; chỉ mở ra mạng khi thật sự cần và đã bật xác thực.
  • Xem danh mục mô hình trong tài liệu để chọn đúng kích cỡ mô hình, đừng chọn mô hình vượt quá VRAM và RAM.
  • Khi nối với ứng dụng như Dify, tận dụng thêm mô hình embedding và rerank chạy cục bộ để dữ liệu nội bộ không ra ngoài.

Lưu ý và hạn chế

  • Là công cụ cho người có kinh nghiệm: phải hiểu Python, GPU, driver và cách chọn engine; người mới có thể thấy lúng túng.
  • Lần chạy đầu tải mô hình và thư viện nên lâu, tốn nhiều dung lượng; mô hình lớn cần GPU mạnh.
  • Có bản Enterprise trả phí riêng; bản mã nguồn mở là Apache 2.0, nhưng một số mô hình bạn nạp có giấy phép hạn chế.

Câu hỏi thường gặp

Xinference có miễn phí không?

Bản mã nguồn mở miễn phí theo giấy phép Apache 2.0. Có thêm bản Xinference Enterprise trả phí cho doanh nghiệp.

Có tiếng Việt không?

Giao diện web hỗ trợ tiếng Anh, Trung giản thể, Trung phồn thể, Nhật, Hàn, chưa có tiếng Việt. Còn việc mô hình trả lời tiếng Việt tốt hay không tuỳ mô hình bạn chọn.

Khác gì Ollama?

Ollama đơn giản, hợp dùng cá nhân. Xinference thiên về nền tảng triển khai có giao diện quản lý, nhiều loại mô hình, nhiều engine và chạy phân tán, hợp với đội kỹ thuật hơn.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/xorbitsai/inference.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân6K

GPUStack

gpustack / gpustack

Quản lý cụm GPU và triển khai mô hình AI cho cả đội, có giao diện web và API kiểu OpenAI

KhóLinuxDocker

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo