Chuyển đến nội dung

AI · 18 repo

Chạy AI trên máy cá nhân

Muốn dùng AI mà không gửi tài liệu nội bộ lên mạng, hoặc không muốn trả phí theo tháng? Các công cụ ở đây tải mô hình mở (Llama, Qwen, Gemma, DeepSeek...) về máy và chạy trực tiếp. Máy có card đồ hoạ rời hoặc Mac chip M sẽ chạy mượt hơn, nhưng nhiều mô hình nhỏ vẫn chạy được trên laptop văn phòng.

Tất cả repo trong chủ đề

18 repo phù hợp

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux
Chạy AI trên máy cá nhân25,3K

Google AI Edge Gallery

google-ai-edge / gallery

Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư

DễAndroidiOSmacOS
Chạy AI trên máy cá nhân23,4K

MLC LLM

mlc-ai / mlc-llm

Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt

KhóWindowsmacOSLinuxAndroid+2
Chạy AI trên máy cá nhân19,7K

KTransformers

kvcache-ai / ktransformers

Khung nghiên cứu chạy và tinh chỉnh mô hình AI cực lớn bằng cách chia việc giữa CPU và card đồ hoạ

KhóLinuxPython
Chạy AI trên máy cá nhân19,4K

WebLLM

mlc-ai / web-llm

Chạy mô hình AI ngay trong trình duyệt nhờ WebGPU, không cần máy chủ, không cần cài phần mềm

VừaWebNode.js
Chạy AI trên máy cá nhân16,5K

MNN (Alibaba)

alibaba / MNN

Bộ máy học sâu gọn nhẹ của Alibaba, có ứng dụng MNN Chat chạy AI offline ngay trên điện thoại

VừaAndroidiOSLinux
Chạy AI trên máy cá nhân15,1K

TensorRT-LLM

NVIDIA / TensorRT-LLM

Thư viện của NVIDIA để chạy mô hình AI nhanh nhất có thể trên card đồ hoạ NVIDIA

KhóLinuxDockerPython
Chạy AI trên máy cá nhân12,3K

KoboldCpp

LostRuins / koboldcpp

Một file .exe chạy mô hình AI GGUF với giao diện web có sẵn, mạnh về viết truyện và nhập vai

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân9,7K

Xinference

xorbitsai / inference

Nền tảng tự cài để chạy và quản lý hàng trăm mô hình AI qua giao diện web và API kiểu OpenAI

VừaLinuxmacOSDockerPython
Chạy AI trên máy cá nhân9,4K

PocketPal AI

a-ghorbani / pocketpal-ai

Trợ lý AI chạy hoàn toàn trên điện thoại, không cần tài khoản, không cần Internet sau khi tải mô hình

DễAndroidiOS
Chạy AI trên máy cá nhân6K

GPUStack

gpustack / gpustack

Quản lý cụm GPU và triển khai mô hình AI cho cả đội, có giao diện web và API kiểu OpenAI

KhóLinuxDocker

Kho này chọn repo thế nào?

Được cộng đồng đánh giá cao

Ưu tiên repo nhiều sao, còn được cập nhật và có người dùng thật. Số sao lấy từ GitHub và tự làm mới mỗi giờ.

Viết cho người Việt

Mỗi repo có phần trải nghiệm, việc nên dùng, hướng dẫn cài theo từng hệ điều hành và câu hỏi thường gặp, viết dựa trên tài liệu chính thức.

Đánh dấu độ khó

Dễ: tải về là dùng. Vừa: cần gõ vài lệnh hoặc Docker. Khó: dành cho người biết lập trình.

Mã nguồn mở không có nghĩa là không có rủi ro: chỉ tải bản cài từ trang GitHub chính thức của dự án, đọc kỹ giấy phép trước khi dùng cho mục đích thương mại, và tôn trọng bản quyền khi tải nội dung.