Trải nghiệm khi dùng PrivateGPT
Điều đầu tiên cần biết: PrivateGPT bản 1.0 không tự chạy mô hình AI. Bạn phải có sẵn một máy chủ mô hình tương thích OpenAI, ví dụ Ollama, rồi cài PrivateGPT và chỉ cho nó địa chỉ của máy chủ đó. Sau khi chạy lệnh khởi động, bạn mở địa chỉ http://localhost:8080/ui trong trình duyệt để thấy giao diện thử nghiệm.
Trong giao diện này bạn chọn mô hình lấy từ máy chủ, tải tài liệu lên, hỏi đáp và xem câu trả lời kèm trích dẫn nguồn. Bạn cũng bật được các công cụ cho từng cuộc chat, cấu hình kết nối cơ sở dữ liệu, MCP và xem chi tiết các yêu cầu gửi đi nhờ công cụ gỡ lỗi API. README nói rõ giao diện chỉ là bản trình diễn; sản phẩm thật là API để lập trình viên xây ứng dụng riêng.
Vì vậy PrivateGPT hợp với người muốn dựng một nền tảng AI nội bộ, nơi dữ liệu không rời khỏi máy, hơn là người chỉ muốn một ứng dụng chat đóng gói sẵn. Nếu bạn cần phần mềm bấm là chạy, hãy xem các lựa chọn dễ hơn như Open WebUI hay AnythingLLM ở phần thay thế.
Tính năng nổi bật
API theo kiểu Claude API
Cung cấp Messages API, truyền trực tiếp từng đoạn, đếm token, chọn mô hình, nên ứng dụng viết cho Claude API dễ chuyển sang chạy riêng.
Nhập tài liệu, hỏi đáp có trích dẫn
Tải file và PDF lên, tìm kiếm trong đó và nhận câu trả lời kèm nguồn, hỗ trợ cả kiểu RAG có tác tử (agentic).
Công cụ và MCP
Có sẵn công cụ tìm web, lấy nội dung trang, chạy mã, cùng hỗ trợ công cụ tự viết và kết nối MCP.
Truy vấn CSV và cơ sở dữ liệu
Trả lời câu hỏi dựa trên bảng tính CSV hoặc cơ sở dữ liệu có cấu trúc mà không cần bạn viết truy vấn thủ công.
Nối được với công cụ quen thuộc
Có hướng dẫn dùng làm backend cho Claude Code, Claude Desktop, tiện ích Claude trong Microsoft Office, OpenCode, n8n, VS Code và Cline.
Chạy với bất kỳ máy chủ tương thích OpenAI
Chỉ cần máy chủ có hai đường dẫn /v1/chat/completions và /v1/models là PrivateGPT dùng được, không khoá vào một nhà cung cấp.
Tận dụng PrivateGPT vào việc gì?
IT, chủ doanh nghiệp nhỏ có đội kỹ thuật
Xây nền tảng AI nội bộ cho công ty
Dựng một lớp API chung để các phòng ban cắm ứng dụng AI vào, dữ liệu nội bộ vẫn nằm trong mạng công ty.
Pháp chế, nhân sự, văn phòng
Hỏi đáp trên hợp đồng, quy trình mà không đưa lên đám mây
Tải tài liệu nhạy cảm lên giao diện, hỏi và xem câu trả lời kèm đoạn trích để tự kiểm chứng.
Lập trình viên
Dùng mô hình cục bộ làm backend cho công cụ lập trình
Làm cầu nối để Claude Code, OpenCode hay Cline chạy với mô hình đang có trên máy khi mã nguồn không được phép gửi ra ngoài.
Sinh viên, người học làm AI
Làm bản mẫu thử nghiệm ứng dụng RAG
Có sẵn các khối cơ bản (nhập tài liệu, tìm kiếm, trích dẫn) để tập trung vào phần giao diện và quy trình của riêng mình.
Cần chuẩn bị gì?
- Một máy chủ mô hình tương thích OpenAI đang chạy, README gợi ý Ollama là điểm bắt đầu dễ nhất.
- Python 3.11 qua công cụ
uv(Windows, Linux) hoặc Homebrew trên macOS, theo hướng dẫn chính thức. - RAM, GPU tuỳ mô hình bạn chọn: README ví dụ mô hình lớn khoảng 24 GB và mô hình nhúng khoảng 670 MB, nên máy yếu hãy chọn mô hình nhỏ hơn.
- Biết dùng Terminal, biến môi trường và đọc tài liệu API.
Hướng dẫn cài đặt chi tiết
Cài trên Windows
Mở PowerShell và cài
uv(trình quản lý gói Python) bằng lệnh chính thức của README.powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"Cài PrivateGPT bằng uv. Dấu huyền ở cuối dòng là ký tự nối dòng trong PowerShell.
uv tool install --python 3.11 ` --find-links https://wheels.privategpt.dev/packages/ ` "private-gpt[core]"Cài và chạy sẵn một máy chủ mô hình, ví dụ Ollama, rồi tải một mô hình chat và một mô hình nhúng (embedding). Thay tên mô hình bằng loại vừa với máy bạn; README dùng
qwen3.5:35b(khoảng 24 GB) vàmxbai-embed-large(khoảng 670 MB).ollama pull mxbai-embed-large ollama pull TEN_MO_HINH_CHAT ollama serveĐặt địa chỉ máy chủ mô hình rồi khởi động. Ollama mặc định lắng nghe ở cổng 11434 (theo tài liệu Ollama) và dùng cùng một cổng cho cả mô hình chat lẫn mô hình nhúng, nên cả hai biến đều trỏ về 11434. README của PrivateGPT chỉ để chỗ trống cổng vì nó phụ thuộc máy chủ mô hình bạn dùng; nếu dùng máy chủ khác (LM Studio, vLLM...) thì thay 11434 bằng cổng của máy chủ đó. Giữ nguyên /v1 ở cuối.
$env:OPENAI_API_BASE = "http://localhost:11434/v1" $env:OPENAI_EMBEDDING_API_BASE = "http://localhost:11434/v1" private-gpt serveKhi server chạy, mở giao diện thử nghiệm ở địa chỉ dưới (API nằm ở http://localhost:8080). Dữ liệu và cấu hình do PrivateGPT quản lý theo tài liệu chính thức; xem docs.privategpt.dev cho tuỳ chọn nâng cao.
http://localhost:8080/ui
Cài trên macOS
Cài bằng Homebrew theo hướng dẫn chính thức.
brew tap zylon-ai/tap brew install private-gptChạy một máy chủ mô hình như Ollama và tải sẵn mô hình chat cùng mô hình nhúng (thay
TEN_MO_HINH_CHATbằng mô hình phù hợp với máy).ollama pull mxbai-embed-large ollama pull TEN_MO_HINH_CHAT ollama serveKhởi động PrivateGPT và trỏ tới máy chủ mô hình. Ollama mặc định lắng nghe ở cổng 11434 (theo tài liệu Ollama) và dùng cùng một cổng cho cả mô hình chat lẫn mô hình nhúng, nên cả hai biến đều trỏ về 11434. Nếu dùng máy chủ khác, thay 11434 bằng cổng của nó.
OPENAI_API_BASE=http://localhost:11434/v1 \ OPENAI_EMBEDDING_API_BASE=http://localhost:11434/v1 \ private-gpt serveKhi server chạy, mở giao diện thử nghiệm ở địa chỉ dưới (API nằm ở http://localhost:8080). Dữ liệu và cấu hình do PrivateGPT quản lý theo tài liệu chính thức; xem docs.privategpt.dev cho tuỳ chọn nâng cao.
http://localhost:8080/ui
Cài trên Linux
Cài
uvrồi cài PrivateGPT bằng hai lệnh chính thức.curl -LsSf https://astral.sh/uv/install.sh | sh uv tool install --python 3.11 \ --find-links https://wheels.privategpt.dev/packages/ \ "private-gpt[core]"Chạy máy chủ mô hình (ví dụ Ollama), tải mô hình chat và mô hình nhúng như ở các tab khác.
ollama pull mxbai-embed-large ollama pull TEN_MO_HINH_CHAT ollama serveKhởi động PrivateGPT và trỏ tới máy chủ mô hình. Ollama mặc định lắng nghe ở cổng 11434 (theo tài liệu Ollama) và dùng cùng một cổng cho cả mô hình chat lẫn mô hình nhúng, nên cả hai biến đều trỏ về 11434. Nếu dùng máy chủ khác, thay 11434 bằng cổng của nó.
OPENAI_API_BASE=http://localhost:11434/v1 \ OPENAI_EMBEDDING_API_BASE=http://localhost:11434/v1 \ private-gpt serveKhi server chạy, mở giao diện thử nghiệm ở địa chỉ dưới (API nằm ở http://localhost:8080). Dữ liệu và cấu hình do PrivateGPT quản lý theo tài liệu chính thức; xem docs.privategpt.dev cho tuỳ chọn nâng cao.
http://localhost:8080/ui
Dùng thử lần đầu
Sau khi khởi động, mở giao diện thử nghiệm trong trình duyệt.
http://localhost:8080/uiChọn mô hình trong danh sách lấy từ máy chủ mô hình, rồi gửi một câu hỏi ngắn bằng tiếng Việt để kiểm tra kết nối.
Tải lên một tài liệu nhỏ (ví dụ PDF vài trang) rồi hỏi một câu mà đáp án nằm trong tài liệu. Xem phần trích dẫn đi kèm để biết câu trả lời lấy từ đâu.
Mở công cụ gỡ lỗi API trong giao diện để xem yêu cầu và phản hồi thật, sau đó thử gọi API tại địa chỉ gốc của máy chủ; tài liệu API có ở docs.privategpt.dev.
Mẹo dùng hay
- Chọn mô hình theo RAM của máy: mô hình quá lớn sẽ chạy rất chậm. Với máy văn phòng, hãy bắt đầu bằng mô hình nhỏ rồi mới nâng lên.
- Nên cài Ollama trước và kiểm tra nó chạy ổn, rồi mới cài PrivateGPT để dễ biết lỗi nằm ở đâu.
- Tài liệu chính thức có phần quickstart đầy đủ (kể cả Docker) và hướng dẫn tích hợp từng công cụ: docs.privategpt.dev.
Lưu ý và hạn chế
- Bản 1.0 khác hẳn bản cũ năm 2023: lệnh và cấu hình trong các bài hướng dẫn cũ trên mạng thường không còn đúng, hãy theo README và tài liệu hiện tại.
- PrivateGPT không tự chạy mô hình, và giao diện đi kèm chỉ là bản demo; người không biết lập trình có thể thấy bước cài khá rườm rà.
- Theo bảng so sánh trong README, một số tính năng như prompt caching và OAuth/tổ chức chưa được hỗ trợ.
Câu hỏi thường gặp
PrivateGPT có chạy offline hoàn toàn không?
Nó được thiết kế để chạy với mô hình cục bộ nên có thể không gửi dữ liệu ra ngoài, nhưng các công cụ như tìm web hay lấy nội dung trang thì dĩ nhiên cần Internet khi bạn bật chúng.
Có miễn phí không, giấy phép thế nào?
Mã nguồn mở theo giấy phép Apache 2.0, miễn phí. Chi phí duy nhất là phần cứng để chạy mô hình, hoặc phí dịch vụ nếu bạn trỏ tới một máy chủ mô hình trả phí.
Máy yếu có chạy được không?
Phần PrivateGPT khá nhẹ, nhưng máy chủ mô hình thì tuỳ kích cỡ mô hình. Máy yếu nên dùng mô hình nhỏ, chấp nhận chất lượng thấp hơn.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/zylon-ai/private-gpt.gitRepo tương tự nên xem
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
AnythingLLM
Mintplex-Labs / anything-llm
Ứng dụng AI tất-cả-trong-một: chat với tài liệu của bạn, dùng agent, chạy cục bộ hoặc nối mô hình đám mây
Open WebUI
open-webui / open-webui
Giao diện chat AI kiểu ChatGPT tự cài trên máy của bạn, nối được với Ollama và các API AI khác