Chuyển đến nội dung

zylon-ai / private-gpt

PrivateGPT

Lớp API mã nguồn mở biến mô hình AI chạy trên máy thành ứng dụng riêng tư: tải tài liệu, hỏi đáp có trích dẫn

PrivateGPT khởi đầu năm 2023 là script chat với tài liệu hoàn toàn offline, nay đã viết lại thành bản 1.0: một máy chủ API nằm giữa ứng dụng của bạn và máy chủ mô hình cục bộ (như Ollama, llama.cpp, vLLM). Nó lo phần nhập tài liệu, tìm kiếm có trích dẫn, công cụ, MCP, và kèm giao diện web để thử.

  • 57.639 sao
  • 7.627 fork
  • Python
  • Cập nhật hôm nay
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Web tự cài (self-host), Thư viện lập trình
Chạy trên
Windows, macOS, Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng PrivateGPT

Điều đầu tiên cần biết: PrivateGPT bản 1.0 không tự chạy mô hình AI. Bạn phải có sẵn một máy chủ mô hình tương thích OpenAI, ví dụ Ollama, rồi cài PrivateGPT và chỉ cho nó địa chỉ của máy chủ đó. Sau khi chạy lệnh khởi động, bạn mở địa chỉ http://localhost:8080/ui trong trình duyệt để thấy giao diện thử nghiệm.

Trong giao diện này bạn chọn mô hình lấy từ máy chủ, tải tài liệu lên, hỏi đáp và xem câu trả lời kèm trích dẫn nguồn. Bạn cũng bật được các công cụ cho từng cuộc chat, cấu hình kết nối cơ sở dữ liệu, MCP và xem chi tiết các yêu cầu gửi đi nhờ công cụ gỡ lỗi API. README nói rõ giao diện chỉ là bản trình diễn; sản phẩm thật là API để lập trình viên xây ứng dụng riêng.

Vì vậy PrivateGPT hợp với người muốn dựng một nền tảng AI nội bộ, nơi dữ liệu không rời khỏi máy, hơn là người chỉ muốn một ứng dụng chat đóng gói sẵn. Nếu bạn cần phần mềm bấm là chạy, hãy xem các lựa chọn dễ hơn như Open WebUI hay AnythingLLM ở phần thay thế.

Tính năng nổi bật

API theo kiểu Claude API

Cung cấp Messages API, truyền trực tiếp từng đoạn, đếm token, chọn mô hình, nên ứng dụng viết cho Claude API dễ chuyển sang chạy riêng.

Nhập tài liệu, hỏi đáp có trích dẫn

Tải file và PDF lên, tìm kiếm trong đó và nhận câu trả lời kèm nguồn, hỗ trợ cả kiểu RAG có tác tử (agentic).

Công cụ và MCP

Có sẵn công cụ tìm web, lấy nội dung trang, chạy mã, cùng hỗ trợ công cụ tự viết và kết nối MCP.

Truy vấn CSV và cơ sở dữ liệu

Trả lời câu hỏi dựa trên bảng tính CSV hoặc cơ sở dữ liệu có cấu trúc mà không cần bạn viết truy vấn thủ công.

Nối được với công cụ quen thuộc

Có hướng dẫn dùng làm backend cho Claude Code, Claude Desktop, tiện ích Claude trong Microsoft Office, OpenCode, n8n, VS Code và Cline.

Chạy với bất kỳ máy chủ tương thích OpenAI

Chỉ cần máy chủ có hai đường dẫn /v1/chat/completions và /v1/models là PrivateGPT dùng được, không khoá vào một nhà cung cấp.

Tận dụng PrivateGPT vào việc gì?

IT, chủ doanh nghiệp nhỏ có đội kỹ thuật

Xây nền tảng AI nội bộ cho công ty

Dựng một lớp API chung để các phòng ban cắm ứng dụng AI vào, dữ liệu nội bộ vẫn nằm trong mạng công ty.

Pháp chế, nhân sự, văn phòng

Hỏi đáp trên hợp đồng, quy trình mà không đưa lên đám mây

Tải tài liệu nhạy cảm lên giao diện, hỏi và xem câu trả lời kèm đoạn trích để tự kiểm chứng.

Lập trình viên

Dùng mô hình cục bộ làm backend cho công cụ lập trình

Làm cầu nối để Claude Code, OpenCode hay Cline chạy với mô hình đang có trên máy khi mã nguồn không được phép gửi ra ngoài.

Sinh viên, người học làm AI

Làm bản mẫu thử nghiệm ứng dụng RAG

Có sẵn các khối cơ bản (nhập tài liệu, tìm kiếm, trích dẫn) để tập trung vào phần giao diện và quy trình của riêng mình.

Cần chuẩn bị gì?

  • Một máy chủ mô hình tương thích OpenAI đang chạy, README gợi ý Ollama là điểm bắt đầu dễ nhất.
  • Python 3.11 qua công cụ uv (Windows, Linux) hoặc Homebrew trên macOS, theo hướng dẫn chính thức.
  • RAM, GPU tuỳ mô hình bạn chọn: README ví dụ mô hình lớn khoảng 24 GB và mô hình nhúng khoảng 670 MB, nên máy yếu hãy chọn mô hình nhỏ hơn.
  • Biết dùng Terminal, biến môi trường và đọc tài liệu API.

Hướng dẫn cài đặt chi tiết

Cài trên Windows

  1. Mở PowerShell và cài uv (trình quản lý gói Python) bằng lệnh chính thức của README.

    PowerShell
    powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
  2. Cài PrivateGPT bằng uv. Dấu huyền ở cuối dòng là ký tự nối dòng trong PowerShell.

    PowerShell
    uv tool install --python 3.11 `
      --find-links https://wheels.privategpt.dev/packages/ `
      "private-gpt[core]"
  3. Cài và chạy sẵn một máy chủ mô hình, ví dụ Ollama, rồi tải một mô hình chat và một mô hình nhúng (embedding). Thay tên mô hình bằng loại vừa với máy bạn; README dùng qwen3.5:35b (khoảng 24 GB) và mxbai-embed-large (khoảng 670 MB).

    PowerShell
    ollama pull mxbai-embed-large
    ollama pull TEN_MO_HINH_CHAT
    ollama serve
  4. Đặt địa chỉ máy chủ mô hình rồi khởi động. Ollama mặc định lắng nghe ở cổng 11434 (theo tài liệu Ollama) và dùng cùng một cổng cho cả mô hình chat lẫn mô hình nhúng, nên cả hai biến đều trỏ về 11434. README của PrivateGPT chỉ để chỗ trống cổng vì nó phụ thuộc máy chủ mô hình bạn dùng; nếu dùng máy chủ khác (LM Studio, vLLM...) thì thay 11434 bằng cổng của máy chủ đó. Giữ nguyên /v1 ở cuối.

    PowerShell
    $env:OPENAI_API_BASE = "http://localhost:11434/v1"
    $env:OPENAI_EMBEDDING_API_BASE = "http://localhost:11434/v1"
    private-gpt serve
  5. Khi server chạy, mở giao diện thử nghiệm ở địa chỉ dưới (API nằm ở http://localhost:8080). Dữ liệu và cấu hình do PrivateGPT quản lý theo tài liệu chính thức; xem docs.privategpt.dev cho tuỳ chọn nâng cao.

    Văn bản
    http://localhost:8080/ui

Cài trên macOS

  1. Cài bằng Homebrew theo hướng dẫn chính thức.

    Terminal
    brew tap zylon-ai/tap
    brew install private-gpt
  2. Chạy một máy chủ mô hình như Ollama và tải sẵn mô hình chat cùng mô hình nhúng (thay TEN_MO_HINH_CHAT bằng mô hình phù hợp với máy).

    Terminal
    ollama pull mxbai-embed-large
    ollama pull TEN_MO_HINH_CHAT
    ollama serve
  3. Khởi động PrivateGPT và trỏ tới máy chủ mô hình. Ollama mặc định lắng nghe ở cổng 11434 (theo tài liệu Ollama) và dùng cùng một cổng cho cả mô hình chat lẫn mô hình nhúng, nên cả hai biến đều trỏ về 11434. Nếu dùng máy chủ khác, thay 11434 bằng cổng của nó.

    Terminal
    OPENAI_API_BASE=http://localhost:11434/v1 \
      OPENAI_EMBEDDING_API_BASE=http://localhost:11434/v1 \
      private-gpt serve
  4. Khi server chạy, mở giao diện thử nghiệm ở địa chỉ dưới (API nằm ở http://localhost:8080). Dữ liệu và cấu hình do PrivateGPT quản lý theo tài liệu chính thức; xem docs.privategpt.dev cho tuỳ chọn nâng cao.

    Văn bản
    http://localhost:8080/ui

Cài trên Linux

  1. Cài uv rồi cài PrivateGPT bằng hai lệnh chính thức.

    Terminal
    curl -LsSf https://astral.sh/uv/install.sh | sh
    uv tool install --python 3.11 \
      --find-links https://wheels.privategpt.dev/packages/ \
      "private-gpt[core]"
  2. Chạy máy chủ mô hình (ví dụ Ollama), tải mô hình chat và mô hình nhúng như ở các tab khác.

    Terminal
    ollama pull mxbai-embed-large
    ollama pull TEN_MO_HINH_CHAT
    ollama serve
  3. Khởi động PrivateGPT và trỏ tới máy chủ mô hình. Ollama mặc định lắng nghe ở cổng 11434 (theo tài liệu Ollama) và dùng cùng một cổng cho cả mô hình chat lẫn mô hình nhúng, nên cả hai biến đều trỏ về 11434. Nếu dùng máy chủ khác, thay 11434 bằng cổng của nó.

    Terminal
    OPENAI_API_BASE=http://localhost:11434/v1 \
      OPENAI_EMBEDDING_API_BASE=http://localhost:11434/v1 \
      private-gpt serve
  4. Khi server chạy, mở giao diện thử nghiệm ở địa chỉ dưới (API nằm ở http://localhost:8080). Dữ liệu và cấu hình do PrivateGPT quản lý theo tài liệu chính thức; xem docs.privategpt.dev cho tuỳ chọn nâng cao.

    Văn bản
    http://localhost:8080/ui

Dùng thử lần đầu

  1. Sau khi khởi động, mở giao diện thử nghiệm trong trình duyệt.

    Văn bản
    http://localhost:8080/ui
  2. Chọn mô hình trong danh sách lấy từ máy chủ mô hình, rồi gửi một câu hỏi ngắn bằng tiếng Việt để kiểm tra kết nối.

  3. Tải lên một tài liệu nhỏ (ví dụ PDF vài trang) rồi hỏi một câu mà đáp án nằm trong tài liệu. Xem phần trích dẫn đi kèm để biết câu trả lời lấy từ đâu.

  4. Mở công cụ gỡ lỗi API trong giao diện để xem yêu cầu và phản hồi thật, sau đó thử gọi API tại địa chỉ gốc của máy chủ; tài liệu API có ở docs.privategpt.dev.

Mẹo dùng hay

  • Chọn mô hình theo RAM của máy: mô hình quá lớn sẽ chạy rất chậm. Với máy văn phòng, hãy bắt đầu bằng mô hình nhỏ rồi mới nâng lên.
  • Nên cài Ollama trước và kiểm tra nó chạy ổn, rồi mới cài PrivateGPT để dễ biết lỗi nằm ở đâu.
  • Tài liệu chính thức có phần quickstart đầy đủ (kể cả Docker) và hướng dẫn tích hợp từng công cụ: docs.privategpt.dev.

Lưu ý và hạn chế

  • Bản 1.0 khác hẳn bản cũ năm 2023: lệnh và cấu hình trong các bài hướng dẫn cũ trên mạng thường không còn đúng, hãy theo README và tài liệu hiện tại.
  • PrivateGPT không tự chạy mô hình, và giao diện đi kèm chỉ là bản demo; người không biết lập trình có thể thấy bước cài khá rườm rà.
  • Theo bảng so sánh trong README, một số tính năng như prompt caching và OAuth/tổ chức chưa được hỗ trợ.

Câu hỏi thường gặp

PrivateGPT có chạy offline hoàn toàn không?

Nó được thiết kế để chạy với mô hình cục bộ nên có thể không gửi dữ liệu ra ngoài, nhưng các công cụ như tìm web hay lấy nội dung trang thì dĩ nhiên cần Internet khi bạn bật chúng.

Có miễn phí không, giấy phép thế nào?

Mã nguồn mở theo giấy phép Apache 2.0, miễn phí. Chi phí duy nhất là phần cứng để chạy mô hình, hoặc phí dịch vụ nếu bạn trỏ tới một máy chủ mô hình trả phí.

Máy yếu có chạy được không?

Phần PrivateGPT khá nhẹ, nhưng máy chủ mô hình thì tuỳ kích cỡ mô hình. Máy yếu nên dùng mô hình nhỏ, chấp nhận chất lượng thấp hơn.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/zylon-ai/private-gpt.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Trợ lý & chat AI68,3K

AnythingLLM

Mintplex-Labs / anything-llm

Ứng dụng AI tất-cả-trong-một: chat với tài liệu của bạn, dùng agent, chạy cục bộ hoặc nối mô hình đám mây

DễWindowsmacOSLinuxDocker+1
Trợ lý & chat AI159K

Open WebUI

open-webui / open-webui

Giao diện chat AI kiểu ChatGPT tự cài trên máy của bạn, nối được với Ollama và các API AI khác

VừaDockerPythonWindowsmacOS+1

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Tài liệu, OCR & hỏi đáp tri thức

Tài liệu, OCR & hỏi đáp tri thức196K

MarkItDown

microsoft / markitdown

Công cụ của Microsoft đổi PDF, Word, Excel, PowerPoint và nhiều file khác thành Markdown cho AI đọc.

VừaWindowsmacOSLinuxPython
Tài liệu, OCR & hỏi đáp tri thức96,8K

Stirling PDF

Stirling-Tools / Stirling-PDF

Bộ hơn 50 công cụ PDF: gộp, tách, ký, che thông tin, nén, OCR, chạy trên máy hoặc tự cài.

DễWindowsmacOSLinuxDocker+1
Tài liệu, OCR & hỏi đáp tri thức94,2K

RAGFlow

infiniflow / ragflow

Nền tảng tự cài giúp AI trả lời dựa trên tài liệu của bạn, có trích dẫn nguồn.

VừaDockerLinuxWeb
Tài liệu, OCR & hỏi đáp tri thức92,7K

PaddleOCR

PaddlePaddle / PaddleOCR

Bộ công cụ OCR của Baidu: đọc chữ trong ảnh, PDF và đổi tài liệu thành Markdown hoặc JSON.

KhóWindowsmacOSLinuxPython
Tài liệu, OCR & hỏi đáp tri thức83,7K

MinerU

opendatalab / MinerU

Đọc PDF, ảnh scan và file Office rồi xuất Markdown, giữ bảng, công thức và bố cục phức tạp.

VừaWindowsmacOSLinuxDocker+1
Tài liệu, OCR & hỏi đáp tri thức77,5K

Tesseract OCR

tesseract-ocr / tesseract

Bộ máy nhận dạng chữ (OCR) mã nguồn mở đọc chữ từ ảnh scan, hỗ trợ hơn 100 ngôn ngữ

VừaWindowsmacOSLinux

Xem cả 22 repo Tài liệu, OCR & hỏi đáp tri thức Về Kho Repo