Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
AI · 18 repo
Muốn dùng AI mà không gửi tài liệu nội bộ lên mạng, hoặc không muốn trả phí theo tháng? Các công cụ ở đây tải mô hình mở (Llama, Qwen, Gemma, DeepSeek...) về máy và chạy trực tiếp. Máy có card đồ hoạ rời hoặc Mac chip M sẽ chạy mượt hơn, nhưng nhiều mô hình nhỏ vẫn chạy được trên laptop văn phòng.
18 repo phù hợp
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac
vllm-project / vllm
Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc
mudler / LocalAI
Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU
exo-explore / exo
Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi
sgl-project / sglang
Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn
ml-explore / mlx
Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac
mozilla-ai / llamafile
Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt
google-ai-edge / gallery
Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư
mlc-ai / mlc-llm
Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt
kvcache-ai / ktransformers
Khung nghiên cứu chạy và tinh chỉnh mô hình AI cực lớn bằng cách chia việc giữa CPU và card đồ hoạ
mlc-ai / web-llm
Chạy mô hình AI ngay trong trình duyệt nhờ WebGPU, không cần máy chủ, không cần cài phần mềm
alibaba / MNN
Bộ máy học sâu gọn nhẹ của Alibaba, có ứng dụng MNN Chat chạy AI offline ngay trên điện thoại
NVIDIA / TensorRT-LLM
Thư viện của NVIDIA để chạy mô hình AI nhanh nhất có thể trên card đồ hoạ NVIDIA
LostRuins / koboldcpp
Một file .exe chạy mô hình AI GGUF với giao diện web có sẵn, mạnh về viết truyện và nhập vai
xorbitsai / inference
Nền tảng tự cài để chạy và quản lý hàng trăm mô hình AI qua giao diện web và API kiểu OpenAI
a-ghorbani / pocketpal-ai
Trợ lý AI chạy hoàn toàn trên điện thoại, không cần tài khoản, không cần Internet sau khi tải mô hình
gpustack / gpustack
Quản lý cụm GPU và triển khai mô hình AI cho cả đội, có giao diện web và API kiểu OpenAI
Chưa có repo khớp bộ lọc. Thử từ khoá ngắn hơn hoặc chọn "Tất cả".
Ưu tiên repo nhiều sao, còn được cập nhật và có người dùng thật. Số sao lấy từ GitHub và tự làm mới mỗi giờ.
Mỗi repo có phần trải nghiệm, việc nên dùng, hướng dẫn cài theo từng hệ điều hành và câu hỏi thường gặp, viết dựa trên tài liệu chính thức.
Dễ: tải về là dùng. Vừa: cần gõ vài lệnh hoặc Docker. Khó: dành cho người biết lập trình.
Mã nguồn mở không có nghĩa là không có rủi ro: chỉ tải bản cài từ trang GitHub chính thức của dự án, đọc kỹ giấy phép trước khi dùng cho mục đích thương mại, và tôn trọng bản quyền khi tải nội dung.