Trải nghiệm khi dùng LocalAI
Cách đơn giản nhất là chạy một lệnh Docker rồi mở trình duyệt vào địa chỉ localhost trên cổng 8080. Bạn thấy giao diện web tích hợp, từ đó chọn mô hình trong thư viện (gallery) để tải về và bắt đầu chat. Trên Linux và macOS chip Apple có thêm script cài, và có ứng dụng desktop dạng AppImage hoặc DMG lo cài và cập nhật server giúp bạn.
Khác với công cụ chỉ chạy chat, LocalAI cố gắng thành một nền tảng nhỏ: cùng một máy chủ bạn có thể chat, tạo ảnh, chuyển giọng nói thành chữ và ngược lại, lấy embedding cho tìm kiếm tài liệu. Các ứng dụng đang gọi API OpenAI chỉ cần đổi địa chỉ là dùng được.
Mỗi backend được đóng thành image riêng và chỉ tải khi có mô hình cần dùng, và LocalAI tự nhận GPU của bạn để tải backend phù hợp. README cũng nói một số tính năng như add-on Office, Sandbox, quản lý nhóm hiện cần bản development hoặc bản mới hơn.
Tính năng nổi bật
Một API cho mọi loại mô hình
Văn bản, hình ảnh, giọng nói, tạo ảnh, video và embedding theo chuẩn OpenAI, Anthropic và ElevenLabs.
Chạy được không cần GPU
README nhấn mạnh không bắt buộc GPU; có thêm hỗ trợ NVIDIA, AMD, Intel, Apple Silicon, Vulkan, Jetson.
Thư viện mô hình và backend
Chọn mô hình từ gallery, Hugging Face hoặc registry kiểu Ollama và OCI, backend có thể cài hoặc gỡ khi cần.
Agent, MCP và tệp
Có chat lưu trên server, agent dùng công cụ, MCP, tệp và bộ sưu tập tài liệu.
Nhiều cách cài
Script cài, Docker, ứng dụng desktop và nhiều image GPU cho NVIDIA, AMD, Intel, Vulkan.
Tận dụng LocalAI vào việc gì?
Lập trình viên, startup
Thay thế API OpenAI bằng máy chủ riêng
Chạy LocalAI nội bộ và đổi địa chỉ API trong ứng dụng để dữ liệu không rời mạng của bạn.
IT nội bộ, chủ doanh nghiệp nhỏ
Một máy chủ AI đa năng cho văn phòng nhỏ
Chat, tạo ảnh, chuyển lời nói thành văn bản cùng một nơi, không trả phí theo lượt gọi.
Người dùng cá nhân
Chạy AI trên máy không có card rời
Thử mô hình nhỏ bằng CPU để làm quen trước khi nâng cấp phần cứng.
Người làm marketing, vận hành
Tự động hoá với công cụ no-code
Nối LocalAI vào n8n hay công cụ tương thích OpenAI để xử lý văn bản hàng loạt.
Cần chuẩn bị gì?
- Docker (hoặc Linux/macOS Apple Silicon nếu dùng script cài, hoặc Linux AppImage / macOS DMG cho ứng dụng desktop).
- RAM và VRAM đủ cho mô hình bạn chọn; chỉ dùng CPU vẫn chạy được nhưng chậm hơn.
- Ổ cứng trống cho mô hình và các backend; mỗi backend là một image riêng.
- Kết nối Internet để tải backend và mô hình.
Hướng dẫn cài đặt chi tiết
Cài trên Docker
Cài Docker (Docker Desktop trên Windows và macOS) và bảo đảm nó đang chạy.
Chạy container bản mới nhất; sau đó mở http://localhost:8080.
docker run -ti --name local-ai -p 8080:8080 localai/localai:latestMuốn dùng card NVIDIA (CUDA 12) thì chạy image GPU. Các image cho CUDA 13, AMD, Intel, Vulkan có tên riêng trong README.
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12Khởi động lại container đã tạo bằng lệnh sau.
docker start -i local-ai
Cài trên Linux / macOS (script)
Script tải bản phát hành cho máy bạn và kiểm tra checksum; dùng cho Linux và macOS chip Apple.
curl -sSL https://localai.io/install.sh | shChạy một mô hình từ gallery (thay bằng tên khác nếu muốn), rồi mở http://localhost:8080.
local-ai run qwen3-4b
Cài trên Ứng dụng desktop
Tải LocalAI.dmg (macOS) hoặc AppImage (Linux) ở trang Releases; launcher sẽ cài và cập nhật server giúp bạn.
https://github.com/mudler/LocalAI/releases
Dùng thử lần đầu
Chạy container hoặc script cài rồi mở http://localhost:8080 trong trình duyệt.
Chọn một mô hình nhỏ từ thư viện mô hình (hoặc chạy local-ai run với tên mô hình) để tải về.
local-ai run qwen3-4bChat thử bằng giao diện web, hoặc dùng lệnh agent trong Terminal ở cửa sổ khác. Agent sẽ hỏi bạn trước khi làm gì làm thay đổi trạng thái.
local-ai chat --model qwen3-4bTrỏ ứng dụng khác tương thích OpenAI vào địa chỉ máy chủ LocalAI để kiểm tra kết nối API.
Mẹo dùng hay
- Bắt đầu bằng mô hình nhỏ để kiểm tra mọi thứ chạy ổn rồi mới thử mô hình lớn.
- Xem trang GPU Acceleration trên localai.io để chọn đúng image cho card đồ hoạ của bạn.
- Một số tính năng nâng cao (Office, Sandbox, quản lý nhóm) cần bản development; đọc ghi chú trong README trước khi trông đợi.
Lưu ý và hạn chế
- Dự án rộng và đang phát triển nhanh nên bạn sẽ gặp nhiều tuỳ chọn; người mới nên chỉ dùng phần chat trước.
- Hiệu năng mô hình phụ thuộc phần cứng; chạy CPU sẽ chậm với mô hình lớn.
- Tính năng tạo giọng nói hoặc nhân bản giọng có thể bị lạm dụng; chỉ dùng giọng bạn có quyền sử dụng và tuân thủ luật bản quyền, quyền riêng tư.
Câu hỏi thường gặp
LocalAI có miễn phí không?
Có, giấy phép MIT. Bạn chỉ tốn tiền điện và phần cứng.
Có dùng được trên Windows không?
Script cài trong README nhắm tới Linux và macOS chip Apple. Trên Windows cách an toàn nhất là dùng Docker; mình không xác nhận được bản cài native cho Windows từ README.
Khác Ollama thế nào?
Ollama tập trung chạy mô hình ngôn ngữ đơn giản. LocalAI hướng tới nền tảng đa năng hơn: nhiều loại mô hình, nhiều backend và nhiều định dạng API.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/mudler/LocalAI.gitRepo tương tự nên xem
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac
GPUStack
gpustack / gpustack
Quản lý cụm GPU và triển khai mô hình AI cho cả đội, có giao diện web và API kiểu OpenAI