Chuyển đến nội dung

gpustack / gpustack

GPUStack

Quản lý cụm GPU và triển khai mô hình AI cho cả đội, có giao diện web và API kiểu OpenAI

GPUStack là bộ quản lý cụm GPU mã nguồn mở để phục vụ mô hình AI. Nó tự cấu hình các engine như vLLM, SGLang, TensorRT-LLM, cho phép gộp GPU từ nhiều máy, cấp quyền cho người dùng, theo dõi tải và đo lượng token dùng. Hợp với doanh nghiệp hoặc nhóm nghiên cứu có GPU NVIDIA trên Linux muốn cung cấp mô hình AI nội bộ như một dịch vụ.

  • 6.047 sao
  • 743 fork
  • Python
  • Cập nhật 3 ngày trước
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Web tự cài (self-host)
Chạy trên
Linux, Docker
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng GPUStack

Bạn chạy một container Docker làm máy chủ GPUStack, đợi nó khởi động rồi lấy mật khẩu quản trị mặc định bằng một lệnh. Sau đó mở trình duyệt vào địa chỉ máy chủ, đăng nhập bằng tài khoản admin. Mọi thứ còn lại diễn ra qua giao diện web.

Tiếp theo bạn thêm một cụm GPU, giao diện đưa ra một lệnh Docker để chạy trên máy có card đồ hoạ để nối máy đó (worker) vào máy chủ. Khi worker xuất hiện, bạn vào danh mục mô hình, chọn một mô hình mẫu, chờ kiểm tra tương thích rồi lưu. Khi trạng thái chuyển sang Running, bạn chat thử ngay trong khu vực Playground.

Cuối cùng, bạn tạo khoá API để ứng dụng khác gọi theo kiểu OpenAI. Đây không phải công cụ cho người dùng cá nhân chỉ muốn chat, mà là hạ tầng để phục vụ nhiều người, nên đòi hỏi bạn quen với Docker, driver NVIDIA và quản trị Linux.

Tính năng nổi bật

Quản lý GPU nhiều máy

Gom GPU từ máy tại chỗ, cụm Kubernetes và nhà cung cấp đám mây, có thể chia nhỏ GPU cho từng triển khai.

Tự chọn và cấu hình engine

Tự cấu hình vLLM, SGLang, TensorRT-LLM và cho thêm engine tuỳ chỉnh.

Hỗ trợ mô hình mới nhanh

Kiến trúc engine cắm rời cho phép triển khai mô hình mới ngay khi được phát hành.

Benchmark và tự tinh chỉnh

Auto Tune khám phá mức tải để tìm thông lượng cao nhất hoặc mức đồng thời đạt mục tiêu dịch vụ.

Quản trị, giám sát, đo lượng dùng

Có đăng nhập, phân quyền, theo dõi hiệu năng GPU theo thời gian thực và đo lượng token cùng số yêu cầu API.

GPU instance qua SSH

Cấp máy GPU có thể truy cập bằng SSH theo nhu cầu cho phát triển và tinh chỉnh mô hình.

Tận dụng GPUStack vào việc gì?

IT, đội hạ tầng

Cung cấp AI nội bộ cho cả công ty

Một cụm GPU dùng chung, mỗi phòng ban có khoá API riêng và được đo mức dùng.

Phòng lab, trường đại học

Nhóm nghiên cứu chia GPU cho nhiều dự án

Chia GPU theo VRAM, cấp instance cho sinh viên thử nghiệm mà không cần mỗi người một máy.

Nhà cung cấp dịch vụ, startup AI

Dựng dịch vụ Model-as-a-Service

Cung cấp API LLM, giọng nói, hình ảnh với xác thực và đo lượng dùng sẵn có.

Kỹ sư MLOps

Thử nhiều cấu hình để tối ưu chi phí

Dùng benchmark Auto Tune để xem một mô hình chạy bao nhiêu người cùng lúc trên cấu hình hiện có.

Lập trình viên AI

Làm nền cho ứng dụng RAG nội bộ

Cung cấp mô hình chat và các mô hình phụ trợ qua API để ứng dụng hỏi đáp tài liệu gọi vào.

Cần chuẩn bị gì?

  • Máy worker chạy Linux với ít nhất một GPU NVIDIA; GPU loại khác xem trang Installation Requirements của tài liệu.
  • Đã cài driver NVIDIA, Docker và NVIDIA Container Toolkit trên máy worker.
  • Máy chủ GPUStack không cần GPU, chạy được trên máy CPU thông thường có Docker.
  • Windows cần dùng WSL2 và tránh Docker Desktop; macOS không hỗ trợ làm worker.

Hướng dẫn cài đặt chi tiết

Cài trên Docker

  1. Trên máy làm máy chủ, chạy container GPUStack theo lệnh của README. Lệnh mở cổng 80 và lưu dữ liệu vào volume.

    Terminal
    sudo docker run -d --name gpustack \
        --restart unless-stopped \
        -p 80:80 \
        --volume gpustack-data:/var/lib/gpustack \
        gpustack/gpustack
  2. Xem log khởi động để chắc máy chủ đã chạy.

    Terminal
    sudo docker logs -f gpustack
  3. Lấy mật khẩu quản trị mặc định rồi mở địa chỉ máy chủ trong trình duyệt, đăng nhập bằng tên admin và mật khẩu vừa lấy.

    Terminal
    sudo docker exec gpustack cat /var/lib/gpustack/initial_admin_password
  4. Trong giao diện, vào mục Clusters, chọn Add Cluster, chọn Docker làm nhà cung cấp, đặt tên rồi lưu. Giao diện sẽ đưa ra một lệnh docker run để chạy trên máy GPU nhằm nối máy đó vào cụm; chạy đúng lệnh được cung cấp.

  5. Nếu không kéo được image từ Docker Hub, README có phương án dùng bản sao trên Quay.io, xem mục Alternative trong README.

Dùng thử lần đầu

  1. Sau khi worker kết nối, kiểm tra nó xuất hiện trong trang Workers của giao diện.

  2. Vào trang Catalog và chọn mô hình Qwen3.5-0.8B như ví dụ trong README, vì đây là mô hình rất nhỏ nên dễ thử.

  3. Khi kiểm tra tương thích đạt, lưu để triển khai và chờ trạng thái chuyển sang Running.

  4. Mở Playground - Chat, chọn mô hình vừa triển khai rồi chat thử bằng tiếng Việt.

  5. Tạo khoá API trong mục Access Control rồi gọi thử qua địa chỉ tương thích OpenAI từ ứng dụng của bạn. Khoá chỉ hiện một lần nên hãy lưu cẩn thận.

Mẹo dùng hay

  • Bắt đầu với mô hình rất nhỏ để kiểm tra cả chuỗi từ máy chủ, worker đến API trước khi chạy mô hình lớn.
  • Có thể đặt máy chủ GPUStack trên máy CPU riêng và chỉ dùng máy GPU làm worker, cho dễ quản lý.
  • Sao lưu volume dữ liệu gpustack-data và đổi mật khẩu admin mặc định ngay sau khi đăng nhập.

Lưu ý và hạn chế

  • Chủ yếu dành cho môi trường có GPU NVIDIA trên Linux; người dùng cá nhân chỉ muốn chat thử nên dùng Ollama hoặc LM Studio.
  • Worker chạy container với quyền đặc biệt và mạng host theo lệnh mẫu của README, nên chỉ triển khai trong hệ thống bạn tin cậy và có kiến thức bảo mật.
  • Một số tính năng như bản đồ cụm GPU Cluster Topology thuộc bản GPUStack Enterprise theo README, không nằm trong bản mã nguồn mở.

Câu hỏi thường gặp

GPUStack có miễn phí không?

Bản mã nguồn mở miễn phí theo giấy phép Apache 2.0. Có bản Enterprise riêng với một số tính năng bổ sung.

Cần mấy GPU mới dùng được?

README yêu cầu tối thiểu một máy có ít nhất một GPU NVIDIA làm worker. Máy chủ quản lý có thể chạy trên máy CPU.

Chạy trên Windows hay Mac được không?

Worker chỉ hỗ trợ Linux. Người dùng Windows nên dùng WSL2 như README khuyến cáo, còn macOS không hỗ trợ làm worker.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/gpustack/gpustack.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân9,7K

Xinference

xorbitsai / inference

Nền tảng tự cài để chạy và quản lý hàng trăm mô hình AI qua giao diện web và API kiểu OpenAI

VừaLinuxmacOSDockerPython
Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo