Trải nghiệm khi dùng exo
Nếu có Mac chip Apple, bạn tải file EXO-latest.dmg, kéo ứng dụng vào thư mục Applications và mở lên (hoặc cài bằng Homebrew). macOS sẽ hỏi quyền truy cập mạng cục bộ để exo tìm các máy khác; bạn cần đồng ý. Ứng dụng chạy nền ở thanh menu, và bảng điều khiển nằm ở địa chỉ http://localhost:52415.
Muốn thêm máy thứ hai, bạn cài exo trên máy đó, cho hai máy cùng mạng (Wi-Fi, Ethernet hoặc cáp Thunderbolt) và chạy cùng phiên bản exo. README nói máy mới sẽ hiện lên trong bảng điều khiển sau vài giây. Từ bảng điều khiển bạn chọn mô hình và chat, exo tự tính cách chia mô hình dựa trên bộ nhớ và độ trễ giữa các máy.
Điểm gây chú ý của dự án là hỗ trợ RDMA qua Thunderbolt 5 trên macOS mới (cần macOS Tahoe 26.2 trở lên) để giảm độ trễ giữa các máy. Các thử nghiệm trong README dùng những cấu hình rất đắt như 4 máy Mac Studio M3 Ultra, nên đây chủ yếu là công cụ cho người có nhiều máy mạnh hoặc muốn nghiên cứu.
Tính năng nổi bật
Tự tìm thấy thiết bị
Các máy chạy exo cùng mạng và cùng phiên bản tự phát hiện nhau, không cần cấu hình tay.
Chia mô hình theo cấu hình máy
Tự chọn cách tách mô hình dựa trên tài nguyên và băng thông giữa các máy, gồm cả chia theo tensor parallelism.
RDMA qua Thunderbolt 5
Hỗ trợ truyền dữ liệu độ trễ thấp giữa các máy Mac nối bằng Thunderbolt, cần macOS mới theo README.
Bảng điều khiển và API
Có dashboard để quản lý cụm và chat, kèm API tương thích OpenAI Chat Completions, Claude Messages, OpenAI Responses và Ollama.
Dùng MLX trên Apple silicon
Dùng MLX làm backend suy luận trên Mac, và tải mô hình tuỳ chọn từ Hugging Face.
Tận dụng exo vào việc gì?
Người có nhiều máy Mac
Chạy mô hình quá lớn cho một máy
Gộp RAM của vài máy Mac để chạy mô hình lớn mà một máy không đủ bộ nhớ.
Studio nhỏ, nhóm làm sản phẩm
Dùng chung cụm AI trong nhà hoặc studio
Mọi người trong mạng gọi chung một API từ cụm Mac thay vì thuê đám mây.
Lập trình viên, nhà nghiên cứu
Nghiên cứu suy luận phân tán
Thử nghiệm cách chia mô hình giữa nhiều thiết bị với RDMA hoặc mạng thường.
Lập trình viên
Cung cấp API cho công cụ đang dùng
Công cụ nói chuẩn OpenAI hoặc Ollama có thể nối vào exo mà ít phải sửa.
Cần chuẩn bị gì?
- Mac Apple silicon chạy macOS Sequoia 15.1 trở lên cho ứng dụng; RDMA qua Thunderbolt cần macOS Tahoe 26.2 trở lên.
- Các máy trong cụm phải cùng mạng và chạy cùng phiên bản exo.
- Linux hiện chỉ chạy bằng CPU, GPU Linux đang được phát triển theo README. Không thấy README nói về Windows.
- RAM đủ lớn để chứa mô hình khi chia ra các máy.
Hướng dẫn cài đặt chi tiết
Cài trên macOS (ứng dụng)
Tải EXO-latest.dmg, mở ra rồi kéo EXO vào Applications. Lần đầu mở, nếu macOS cảnh báo ứng dụng tải từ Internet thì bấm Open.
https://assets.exolabs.net/EXO-latest.dmgHoặc cài bằng Homebrew.
brew install --cask exoCho phép EXO truy cập mạng cục bộ khi macOS hỏi. Phần cài mạng Thunderbolt là tuỳ chọn và cần mật khẩu quản trị; hãy đọc kỹ mục What EXO asks for trong README trước khi đồng ý, vì nó tạo một vị trí mạng riêng tên exo.
Cài trên macOS (từ mã nguồn)
Cài Xcode, Homebrew, uv, node và rust như README liệt kê. Sau đó tải mã nguồn và build giao diện.
brew install uv node git clone https://github.com/exo-explore/exo cd exo/dashboard && npm install && npm run build && cd ..Cài thư viện Python kèm backend MLX rồi chạy.
uv sync --extra mlx uv run exoBảng điều khiển và API chạy tại http://localhost:52415/.
Cài trên Linux (từ mã nguồn)
Cài uv, node (phiên bản 18 trở lên) và rust. README có ví dụ cài Node.js bằng apt trên Ubuntu hoặc Debian.
Lưu ý: hiện exo trên Linux chỉ chạy bằng CPU. Các bước chi tiết (build dashboard, uv sync, uv run exo) xem mục Run from Source (Linux) của README.
https://github.com/exo-explore/exo#run-from-source-linux
Dùng thử lần đầu
Mở ứng dụng EXO trên Mac và cho phép truy cập mạng cục bộ. Truy cập bảng điều khiển ở http://localhost:52415.
Chọn một mô hình vừa với RAM máy bạn trong bảng điều khiển, chờ tải về, rồi chat thử bằng tiếng Việt.
Cài exo trên Mac thứ hai cùng phiên bản, cho hai máy cùng mạng và đợi máy mới hiện trong bảng điều khiển.
Chọn mô hình lớn hơn mà một máy đơn lẻ không chạy nổi và quan sát cách exo chia nó giữa các máy.
Mẹo dùng hay
- Nếu máy không hiện lên, kiểm tra cả hai máy cùng phiên bản exo và đã bật quyền Local Network trong System Settings.
- Wi-Fi khách và một số mạng văn phòng chặn thiết bị thấy nhau; thử Ethernet hoặc cáp Thunderbolt.
- Muốn chạy nhiều cụm trên cùng mạng, đặt tên cụm (cluster name) khác nhau cho từng cụm trong Settings.
Lưu ý và hạn chế
- Dự án nhắm tới người có nhiều Mac Apple silicon, thường là máy đắt tiền; không phải công cụ cho laptop văn phòng đơn lẻ.
- Phần cài mạng Thunderbolt thay đổi cài đặt mạng của máy (tạo vị trí mạng exo, tắt Thunderbolt Bridge) và cần quyền quản trị; nên biết cách gỡ bằng script uninstall trước khi bật.
- Mọi máy trong cụm phải cùng phiên bản; cập nhật lệch phiên bản sẽ làm máy rớt khỏi cụm.
Câu hỏi thường gặp
exo có miễn phí không?
Có, mã nguồn mở giấy phép Apache-2.0 và không có phí phần mềm. Chi phí chính là các máy Mac của bạn.
Có chạy được trên Windows không?
README không đề cập Windows; chỉ nói macOS và Linux (CPU).
Cần mấy máy mới dùng được?
Một máy vẫn chạy được, nhưng giá trị lớn nhất của exo là ghép nhiều thiết bị để chạy mô hình lớn hơn bộ nhớ của riêng máy nào.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/exo-explore/exo.gitRepo tương tự nên xem
MLX
ml-explore / mlx
Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac