Trải nghiệm khi dùng GPUStack
Bạn chạy một container Docker làm máy chủ GPUStack, đợi nó khởi động rồi lấy mật khẩu quản trị mặc định bằng một lệnh. Sau đó mở trình duyệt vào địa chỉ máy chủ, đăng nhập bằng tài khoản admin. Mọi thứ còn lại diễn ra qua giao diện web.
Tiếp theo bạn thêm một cụm GPU, giao diện đưa ra một lệnh Docker để chạy trên máy có card đồ hoạ để nối máy đó (worker) vào máy chủ. Khi worker xuất hiện, bạn vào danh mục mô hình, chọn một mô hình mẫu, chờ kiểm tra tương thích rồi lưu. Khi trạng thái chuyển sang Running, bạn chat thử ngay trong khu vực Playground.
Cuối cùng, bạn tạo khoá API để ứng dụng khác gọi theo kiểu OpenAI. Đây không phải công cụ cho người dùng cá nhân chỉ muốn chat, mà là hạ tầng để phục vụ nhiều người, nên đòi hỏi bạn quen với Docker, driver NVIDIA và quản trị Linux.
Tính năng nổi bật
Quản lý GPU nhiều máy
Gom GPU từ máy tại chỗ, cụm Kubernetes và nhà cung cấp đám mây, có thể chia nhỏ GPU cho từng triển khai.
Tự chọn và cấu hình engine
Tự cấu hình vLLM, SGLang, TensorRT-LLM và cho thêm engine tuỳ chỉnh.
Hỗ trợ mô hình mới nhanh
Kiến trúc engine cắm rời cho phép triển khai mô hình mới ngay khi được phát hành.
Benchmark và tự tinh chỉnh
Auto Tune khám phá mức tải để tìm thông lượng cao nhất hoặc mức đồng thời đạt mục tiêu dịch vụ.
Quản trị, giám sát, đo lượng dùng
Có đăng nhập, phân quyền, theo dõi hiệu năng GPU theo thời gian thực và đo lượng token cùng số yêu cầu API.
GPU instance qua SSH
Cấp máy GPU có thể truy cập bằng SSH theo nhu cầu cho phát triển và tinh chỉnh mô hình.
Tận dụng GPUStack vào việc gì?
IT, đội hạ tầng
Cung cấp AI nội bộ cho cả công ty
Một cụm GPU dùng chung, mỗi phòng ban có khoá API riêng và được đo mức dùng.
Phòng lab, trường đại học
Nhóm nghiên cứu chia GPU cho nhiều dự án
Chia GPU theo VRAM, cấp instance cho sinh viên thử nghiệm mà không cần mỗi người một máy.
Nhà cung cấp dịch vụ, startup AI
Dựng dịch vụ Model-as-a-Service
Cung cấp API LLM, giọng nói, hình ảnh với xác thực và đo lượng dùng sẵn có.
Kỹ sư MLOps
Thử nhiều cấu hình để tối ưu chi phí
Dùng benchmark Auto Tune để xem một mô hình chạy bao nhiêu người cùng lúc trên cấu hình hiện có.
Lập trình viên AI
Làm nền cho ứng dụng RAG nội bộ
Cung cấp mô hình chat và các mô hình phụ trợ qua API để ứng dụng hỏi đáp tài liệu gọi vào.
Cần chuẩn bị gì?
- Máy worker chạy Linux với ít nhất một GPU NVIDIA; GPU loại khác xem trang Installation Requirements của tài liệu.
- Đã cài driver NVIDIA, Docker và NVIDIA Container Toolkit trên máy worker.
- Máy chủ GPUStack không cần GPU, chạy được trên máy CPU thông thường có Docker.
- Windows cần dùng WSL2 và tránh Docker Desktop; macOS không hỗ trợ làm worker.
Hướng dẫn cài đặt chi tiết
Cài trên Docker
Trên máy làm máy chủ, chạy container GPUStack theo lệnh của README. Lệnh mở cổng 80 và lưu dữ liệu vào volume.
sudo docker run -d --name gpustack \ --restart unless-stopped \ -p 80:80 \ --volume gpustack-data:/var/lib/gpustack \ gpustack/gpustackXem log khởi động để chắc máy chủ đã chạy.
sudo docker logs -f gpustackLấy mật khẩu quản trị mặc định rồi mở địa chỉ máy chủ trong trình duyệt, đăng nhập bằng tên admin và mật khẩu vừa lấy.
sudo docker exec gpustack cat /var/lib/gpustack/initial_admin_passwordTrong giao diện, vào mục Clusters, chọn Add Cluster, chọn Docker làm nhà cung cấp, đặt tên rồi lưu. Giao diện sẽ đưa ra một lệnh docker run để chạy trên máy GPU nhằm nối máy đó vào cụm; chạy đúng lệnh được cung cấp.
Nếu không kéo được image từ Docker Hub, README có phương án dùng bản sao trên Quay.io, xem mục Alternative trong README.
Dùng thử lần đầu
Sau khi worker kết nối, kiểm tra nó xuất hiện trong trang Workers của giao diện.
Vào trang Catalog và chọn mô hình Qwen3.5-0.8B như ví dụ trong README, vì đây là mô hình rất nhỏ nên dễ thử.
Khi kiểm tra tương thích đạt, lưu để triển khai và chờ trạng thái chuyển sang Running.
Mở Playground - Chat, chọn mô hình vừa triển khai rồi chat thử bằng tiếng Việt.
Tạo khoá API trong mục Access Control rồi gọi thử qua địa chỉ tương thích OpenAI từ ứng dụng của bạn. Khoá chỉ hiện một lần nên hãy lưu cẩn thận.
Mẹo dùng hay
- Bắt đầu với mô hình rất nhỏ để kiểm tra cả chuỗi từ máy chủ, worker đến API trước khi chạy mô hình lớn.
- Có thể đặt máy chủ GPUStack trên máy CPU riêng và chỉ dùng máy GPU làm worker, cho dễ quản lý.
- Sao lưu volume dữ liệu gpustack-data và đổi mật khẩu admin mặc định ngay sau khi đăng nhập.
Lưu ý và hạn chế
- Chủ yếu dành cho môi trường có GPU NVIDIA trên Linux; người dùng cá nhân chỉ muốn chat thử nên dùng Ollama hoặc LM Studio.
- Worker chạy container với quyền đặc biệt và mạng host theo lệnh mẫu của README, nên chỉ triển khai trong hệ thống bạn tin cậy và có kiến thức bảo mật.
- Một số tính năng như bản đồ cụm GPU Cluster Topology thuộc bản GPUStack Enterprise theo README, không nằm trong bản mã nguồn mở.
Câu hỏi thường gặp
GPUStack có miễn phí không?
Bản mã nguồn mở miễn phí theo giấy phép Apache 2.0. Có bản Enterprise riêng với một số tính năng bổ sung.
Cần mấy GPU mới dùng được?
README yêu cầu tối thiểu một máy có ít nhất một GPU NVIDIA làm worker. Máy chủ quản lý có thể chạy trên máy CPU.
Chạy trên Windows hay Mac được không?
Worker chỉ hỗ trợ Linux. Người dùng Windows nên dùng WSL2 như README khuyến cáo, còn macOS không hỗ trợ làm worker.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/gpustack/gpustack.gitRepo tương tự nên xem
Xinference
xorbitsai / inference
Nền tảng tự cài để chạy và quản lý hàng trăm mô hình AI qua giao diện web và API kiểu OpenAI
vLLM
vllm-project / vllm
Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc
LocalAI
mudler / LocalAI
Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU