Chuyển đến nội dung

exo-explore / exo

exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

exo nối các thiết bị của bạn thành một cụm AI. Các máy chạy exo trong cùng mạng tự tìm thấy nhau, chia mô hình ra giữa các máy và mở một API cùng bảng điều khiển để chat. Với Mac Apple silicon, dự án có sẵn ứng dụng nằm trên thanh menu; trên Linux hiện chỉ chạy bằng CPU.

  • 48.444 sao
  • 3.621 fork
  • Python
  • Cập nhật 10 ngày trước
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Ứng dụng máy tính, Dòng lệnh (CLI)
Chạy trên
macOS, Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng exo

Nếu có Mac chip Apple, bạn tải file EXO-latest.dmg, kéo ứng dụng vào thư mục Applications và mở lên (hoặc cài bằng Homebrew). macOS sẽ hỏi quyền truy cập mạng cục bộ để exo tìm các máy khác; bạn cần đồng ý. Ứng dụng chạy nền ở thanh menu, và bảng điều khiển nằm ở địa chỉ http://localhost:52415.

Muốn thêm máy thứ hai, bạn cài exo trên máy đó, cho hai máy cùng mạng (Wi-Fi, Ethernet hoặc cáp Thunderbolt) và chạy cùng phiên bản exo. README nói máy mới sẽ hiện lên trong bảng điều khiển sau vài giây. Từ bảng điều khiển bạn chọn mô hình và chat, exo tự tính cách chia mô hình dựa trên bộ nhớ và độ trễ giữa các máy.

Điểm gây chú ý của dự án là hỗ trợ RDMA qua Thunderbolt 5 trên macOS mới (cần macOS Tahoe 26.2 trở lên) để giảm độ trễ giữa các máy. Các thử nghiệm trong README dùng những cấu hình rất đắt như 4 máy Mac Studio M3 Ultra, nên đây chủ yếu là công cụ cho người có nhiều máy mạnh hoặc muốn nghiên cứu.

Tính năng nổi bật

Tự tìm thấy thiết bị

Các máy chạy exo cùng mạng và cùng phiên bản tự phát hiện nhau, không cần cấu hình tay.

Chia mô hình theo cấu hình máy

Tự chọn cách tách mô hình dựa trên tài nguyên và băng thông giữa các máy, gồm cả chia theo tensor parallelism.

RDMA qua Thunderbolt 5

Hỗ trợ truyền dữ liệu độ trễ thấp giữa các máy Mac nối bằng Thunderbolt, cần macOS mới theo README.

Bảng điều khiển và API

Có dashboard để quản lý cụm và chat, kèm API tương thích OpenAI Chat Completions, Claude Messages, OpenAI Responses và Ollama.

Dùng MLX trên Apple silicon

Dùng MLX làm backend suy luận trên Mac, và tải mô hình tuỳ chọn từ Hugging Face.

Tận dụng exo vào việc gì?

Người có nhiều máy Mac

Chạy mô hình quá lớn cho một máy

Gộp RAM của vài máy Mac để chạy mô hình lớn mà một máy không đủ bộ nhớ.

Studio nhỏ, nhóm làm sản phẩm

Dùng chung cụm AI trong nhà hoặc studio

Mọi người trong mạng gọi chung một API từ cụm Mac thay vì thuê đám mây.

Lập trình viên, nhà nghiên cứu

Nghiên cứu suy luận phân tán

Thử nghiệm cách chia mô hình giữa nhiều thiết bị với RDMA hoặc mạng thường.

Lập trình viên

Cung cấp API cho công cụ đang dùng

Công cụ nói chuẩn OpenAI hoặc Ollama có thể nối vào exo mà ít phải sửa.

Cần chuẩn bị gì?

  • Mac Apple silicon chạy macOS Sequoia 15.1 trở lên cho ứng dụng; RDMA qua Thunderbolt cần macOS Tahoe 26.2 trở lên.
  • Các máy trong cụm phải cùng mạng và chạy cùng phiên bản exo.
  • Linux hiện chỉ chạy bằng CPU, GPU Linux đang được phát triển theo README. Không thấy README nói về Windows.
  • RAM đủ lớn để chứa mô hình khi chia ra các máy.

Hướng dẫn cài đặt chi tiết

Cài trên macOS (ứng dụng)

  1. Tải EXO-latest.dmg, mở ra rồi kéo EXO vào Applications. Lần đầu mở, nếu macOS cảnh báo ứng dụng tải từ Internet thì bấm Open.

    Văn bản
    https://assets.exolabs.net/EXO-latest.dmg
  2. Hoặc cài bằng Homebrew.

    Terminal
    brew install --cask exo
  3. Cho phép EXO truy cập mạng cục bộ khi macOS hỏi. Phần cài mạng Thunderbolt là tuỳ chọn và cần mật khẩu quản trị; hãy đọc kỹ mục What EXO asks for trong README trước khi đồng ý, vì nó tạo một vị trí mạng riêng tên exo.

Cài trên macOS (từ mã nguồn)

  1. Cài Xcode, Homebrew, uv, node và rust như README liệt kê. Sau đó tải mã nguồn và build giao diện.

    Terminal
    brew install uv node
    git clone https://github.com/exo-explore/exo
    cd exo/dashboard && npm install && npm run build && cd ..
  2. Cài thư viện Python kèm backend MLX rồi chạy.

    Terminal
    uv sync --extra mlx
    uv run exo
  3. Bảng điều khiển và API chạy tại http://localhost:52415/.

Cài trên Linux (từ mã nguồn)

  1. Cài uv, node (phiên bản 18 trở lên) và rust. README có ví dụ cài Node.js bằng apt trên Ubuntu hoặc Debian.

  2. Lưu ý: hiện exo trên Linux chỉ chạy bằng CPU. Các bước chi tiết (build dashboard, uv sync, uv run exo) xem mục Run from Source (Linux) của README.

    Văn bản
    https://github.com/exo-explore/exo#run-from-source-linux

Dùng thử lần đầu

  1. Mở ứng dụng EXO trên Mac và cho phép truy cập mạng cục bộ. Truy cập bảng điều khiển ở http://localhost:52415.

  2. Chọn một mô hình vừa với RAM máy bạn trong bảng điều khiển, chờ tải về, rồi chat thử bằng tiếng Việt.

  3. Cài exo trên Mac thứ hai cùng phiên bản, cho hai máy cùng mạng và đợi máy mới hiện trong bảng điều khiển.

  4. Chọn mô hình lớn hơn mà một máy đơn lẻ không chạy nổi và quan sát cách exo chia nó giữa các máy.

Mẹo dùng hay

  • Nếu máy không hiện lên, kiểm tra cả hai máy cùng phiên bản exo và đã bật quyền Local Network trong System Settings.
  • Wi-Fi khách và một số mạng văn phòng chặn thiết bị thấy nhau; thử Ethernet hoặc cáp Thunderbolt.
  • Muốn chạy nhiều cụm trên cùng mạng, đặt tên cụm (cluster name) khác nhau cho từng cụm trong Settings.

Lưu ý và hạn chế

  • Dự án nhắm tới người có nhiều Mac Apple silicon, thường là máy đắt tiền; không phải công cụ cho laptop văn phòng đơn lẻ.
  • Phần cài mạng Thunderbolt thay đổi cài đặt mạng của máy (tạo vị trí mạng exo, tắt Thunderbolt Bridge) và cần quyền quản trị; nên biết cách gỡ bằng script uninstall trước khi bật.
  • Mọi máy trong cụm phải cùng phiên bản; cập nhật lệch phiên bản sẽ làm máy rớt khỏi cụm.

Câu hỏi thường gặp

exo có miễn phí không?

Có, mã nguồn mở giấy phép Apache-2.0 và không có phí phần mềm. Chi phí chính là các máy Mac của bạn.

Có chạy được trên Windows không?

README không đề cập Windows; chỉ nói macOS và Linux (CPU).

Cần mấy máy mới dùng được?

Một máy vẫn chạy được, nhưng giá trị lớn nhất của exo là ghép nhiều thiết bị để chạy mô hình lớn hơn bộ nhớ của riêng máy nào.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/exo-explore/exo.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux
Chạy AI trên máy cá nhân25,3K

Google AI Edge Gallery

google-ai-edge / gallery

Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư

DễAndroidiOSmacOS
Chạy AI trên máy cá nhân23,4K

MLC LLM

mlc-ai / mlc-llm

Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt

KhóWindowsmacOSLinuxAndroid+2

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo