Chuyển đến nội dung

mudler / LocalAI

LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

LocalAI là một engine AI bạn tự chạy trên phần cứng của mình. Nó gom chat với mô hình ngôn ngữ, nhìn ảnh, giọng nói, tạo ảnh, video và embedding vào một máy chủ có API theo chuẩn OpenAI, Anthropic và ElevenLabs. README ghi nó có hơn 80 backend, chạy được trên CPU, NVIDIA, AMD, Intel, Apple Silicon và Vulkan.

  • 50.384 sao
  • 4.609 fork
  • Go
  • Cập nhật hôm nay
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Web tự cài (self-host), Ứng dụng máy tính
Chạy trên
Docker, Linux, macOS, Windows
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng LocalAI

Cách đơn giản nhất là chạy một lệnh Docker rồi mở trình duyệt vào địa chỉ localhost trên cổng 8080. Bạn thấy giao diện web tích hợp, từ đó chọn mô hình trong thư viện (gallery) để tải về và bắt đầu chat. Trên Linux và macOS chip Apple có thêm script cài, và có ứng dụng desktop dạng AppImage hoặc DMG lo cài và cập nhật server giúp bạn.

Khác với công cụ chỉ chạy chat, LocalAI cố gắng thành một nền tảng nhỏ: cùng một máy chủ bạn có thể chat, tạo ảnh, chuyển giọng nói thành chữ và ngược lại, lấy embedding cho tìm kiếm tài liệu. Các ứng dụng đang gọi API OpenAI chỉ cần đổi địa chỉ là dùng được.

Mỗi backend được đóng thành image riêng và chỉ tải khi có mô hình cần dùng, và LocalAI tự nhận GPU của bạn để tải backend phù hợp. README cũng nói một số tính năng như add-on Office, Sandbox, quản lý nhóm hiện cần bản development hoặc bản mới hơn.

Tính năng nổi bật

Một API cho mọi loại mô hình

Văn bản, hình ảnh, giọng nói, tạo ảnh, video và embedding theo chuẩn OpenAI, Anthropic và ElevenLabs.

Chạy được không cần GPU

README nhấn mạnh không bắt buộc GPU; có thêm hỗ trợ NVIDIA, AMD, Intel, Apple Silicon, Vulkan, Jetson.

Thư viện mô hình và backend

Chọn mô hình từ gallery, Hugging Face hoặc registry kiểu Ollama và OCI, backend có thể cài hoặc gỡ khi cần.

Agent, MCP và tệp

Có chat lưu trên server, agent dùng công cụ, MCP, tệp và bộ sưu tập tài liệu.

Nhiều cách cài

Script cài, Docker, ứng dụng desktop và nhiều image GPU cho NVIDIA, AMD, Intel, Vulkan.

Tận dụng LocalAI vào việc gì?

Lập trình viên, startup

Thay thế API OpenAI bằng máy chủ riêng

Chạy LocalAI nội bộ và đổi địa chỉ API trong ứng dụng để dữ liệu không rời mạng của bạn.

IT nội bộ, chủ doanh nghiệp nhỏ

Một máy chủ AI đa năng cho văn phòng nhỏ

Chat, tạo ảnh, chuyển lời nói thành văn bản cùng một nơi, không trả phí theo lượt gọi.

Người dùng cá nhân

Chạy AI trên máy không có card rời

Thử mô hình nhỏ bằng CPU để làm quen trước khi nâng cấp phần cứng.

Người làm marketing, vận hành

Tự động hoá với công cụ no-code

Nối LocalAI vào n8n hay công cụ tương thích OpenAI để xử lý văn bản hàng loạt.

Cần chuẩn bị gì?

  • Docker (hoặc Linux/macOS Apple Silicon nếu dùng script cài, hoặc Linux AppImage / macOS DMG cho ứng dụng desktop).
  • RAM và VRAM đủ cho mô hình bạn chọn; chỉ dùng CPU vẫn chạy được nhưng chậm hơn.
  • Ổ cứng trống cho mô hình và các backend; mỗi backend là một image riêng.
  • Kết nối Internet để tải backend và mô hình.

Hướng dẫn cài đặt chi tiết

Cài trên Docker

  1. Cài Docker (Docker Desktop trên Windows và macOS) và bảo đảm nó đang chạy.

  2. Chạy container bản mới nhất; sau đó mở http://localhost:8080.

    Terminal
    docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
  3. Muốn dùng card NVIDIA (CUDA 12) thì chạy image GPU. Các image cho CUDA 13, AMD, Intel, Vulkan có tên riêng trong README.

    Terminal
    docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12
  4. Khởi động lại container đã tạo bằng lệnh sau.

    Terminal
    docker start -i local-ai

Cài trên Linux / macOS (script)

  1. Script tải bản phát hành cho máy bạn và kiểm tra checksum; dùng cho Linux và macOS chip Apple.

    Terminal
    curl -sSL https://localai.io/install.sh | sh
  2. Chạy một mô hình từ gallery (thay bằng tên khác nếu muốn), rồi mở http://localhost:8080.

    Terminal
    local-ai run qwen3-4b

Cài trên Ứng dụng desktop

  1. Tải LocalAI.dmg (macOS) hoặc AppImage (Linux) ở trang Releases; launcher sẽ cài và cập nhật server giúp bạn.

    Văn bản
    https://github.com/mudler/LocalAI/releases

Dùng thử lần đầu

  1. Chạy container hoặc script cài rồi mở http://localhost:8080 trong trình duyệt.

  2. Chọn một mô hình nhỏ từ thư viện mô hình (hoặc chạy local-ai run với tên mô hình) để tải về.

    Terminal
    local-ai run qwen3-4b
  3. Chat thử bằng giao diện web, hoặc dùng lệnh agent trong Terminal ở cửa sổ khác. Agent sẽ hỏi bạn trước khi làm gì làm thay đổi trạng thái.

    Terminal
    local-ai chat --model qwen3-4b
  4. Trỏ ứng dụng khác tương thích OpenAI vào địa chỉ máy chủ LocalAI để kiểm tra kết nối API.

Mẹo dùng hay

  • Bắt đầu bằng mô hình nhỏ để kiểm tra mọi thứ chạy ổn rồi mới thử mô hình lớn.
  • Xem trang GPU Acceleration trên localai.io để chọn đúng image cho card đồ hoạ của bạn.
  • Một số tính năng nâng cao (Office, Sandbox, quản lý nhóm) cần bản development; đọc ghi chú trong README trước khi trông đợi.

Lưu ý và hạn chế

  • Dự án rộng và đang phát triển nhanh nên bạn sẽ gặp nhiều tuỳ chọn; người mới nên chỉ dùng phần chat trước.
  • Hiệu năng mô hình phụ thuộc phần cứng; chạy CPU sẽ chậm với mô hình lớn.
  • Tính năng tạo giọng nói hoặc nhân bản giọng có thể bị lạm dụng; chỉ dùng giọng bạn có quyền sử dụng và tuân thủ luật bản quyền, quyền riêng tư.

Câu hỏi thường gặp

LocalAI có miễn phí không?

Có, giấy phép MIT. Bạn chỉ tốn tiền điện và phần cứng.

Có dùng được trên Windows không?

Script cài trong README nhắm tới Linux và macOS chip Apple. Trên Windows cách an toàn nhất là dùng Docker; mình không xác nhận được bản cài native cho Windows từ README.

Khác Ollama thế nào?

Ollama tập trung chạy mô hình ngôn ngữ đơn giản. LocalAI hướng tới nền tảng đa năng hơn: nhiều loại mô hình, nhiều backend và nhiều định dạng API.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/mudler/LocalAI.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân6K

GPUStack

gpustack / gpustack

Quản lý cụm GPU và triển khai mô hình AI cho cả đội, có giao diện web và API kiểu OpenAI

KhóLinuxDocker

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux
Chạy AI trên máy cá nhân25,3K

Google AI Edge Gallery

google-ai-edge / gallery

Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư

DễAndroidiOSmacOS

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo