Chuyển đến nội dung

oobabooga / textgen

TextGen (text-generation-webui)

Ứng dụng chạy mô hình ngôn ngữ trên máy, giải nén là dùng, riêng tư tuyệt đối và không thu thập dữ liệu

TextGen, trước đây nổi tiếng với tên text-generation-webui của oobabooga, là ứng dụng mã nguồn mở để chạy các mô hình AI cục bộ. Bạn tải bản portable, giải nén, mở lên là có cửa sổ chat với chế độ chat, đọc ảnh, đính kèm file, API tương thích OpenAI/Anthropic, huấn luyện LoRA và tạo ảnh. README khẳng định chạy hoàn toàn offline, không telemetry.

  • 47.740 sao
  • 5.975 fork
  • Python
  • Cập nhật 3 tháng trước
  • AGPL 3.0 (chạy dịch vụ cũng phải công bố mã)
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Ứng dụng máy tính, Web tự cài (self-host)
Chạy trên
Windows, macOS, Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng TextGen (text-generation-webui)

Cách khởi đầu dễ nhất: vào trang Releases của repo, tải bản portable đúng với máy (có tuỳ chọn CUDA cho card NVIDIA, Vulkan, ROCm cho AMD hoặc chỉ CPU), giải nén rồi bấm đúp textgen. Một cửa sổ ứng dụng mở ra, mọi thư viện đã gói sẵn. Bản này dùng định dạng GGUF chạy bằng llama.cpp.

Bạn cần một mô hình: tải file GGUF từ Hugging Face rồi bỏ vào thư mục user_data/models, giao diện tự nhận. Từ đó bạn chat theo kiểu hướng dẫn như ChatGPT, hoặc chat với nhân vật tuỳ chỉnh, chỉnh sửa tin nhắn, rẽ nhánh cuộc trò chuyện, đính kèm PDF, DOCX hay ảnh để hỏi.

Khi cần nhiều hơn như backend ExLlamaV3, Transformers, huấn luyện LoRA, tạo ảnh hoặc các extension (TTS, giọng nói, dịch), bạn dùng bản cài đầy đủ qua script start_windows.bat, start_linux.sh hay start_macos.sh. Bản đầy đủ cần khoảng 10 GB ổ cứng và tải PyTorch.

Tính năng nổi bật

Giải nén là chạy

Bản portable cho Windows, macOS và Linux gói sẵn mọi thứ, có bản cho CUDA, Vulkan, ROCm và CPU.

Nhiều chế độ chat

Chế độ instruct như ChatGPT, chế độ chat với nhân vật, sửa tin nhắn, chuyển giữa các phiên bản tin nhắn, rẽ nhánh hội thoại.

Hiểu ảnh và đính kèm file

Đính kèm ảnh để mô hình mô tả; tải lên file văn bản, PDF, DOCX rồi hỏi về nội dung.

API tương thích OpenAI và Anthropic

Dùng như máy chủ thay thế cục bộ cho các ứng dụng đang gọi API OpenAI hoặc Anthropic, hỗ trợ gọi công cụ và MCP.

Huấn luyện LoRA và tạo ảnh

Tab huấn luyện LoRA cho hội thoại hoặc văn bản thô, tab tạo ảnh cho mô hình diffusers như Z-Image-Turbo.

Riêng tư, không telemetry

README khẳng định chạy 100 phần trăm offline, không telemetry, không tài nguyên bên ngoài và không yêu cầu cập nhật từ xa.

Tận dụng TextGen (text-generation-webui) vào việc gì?

Dân văn phòng, người làm nội dung

Chat AI riêng tư trên máy

Soạn nháp, tóm tắt, viết lại văn bản mà không gửi gì ra Internet.

Người thích khám phá AI

Thử nhiều mô hình GGUF

Bỏ các file GGUF khác nhau vào thư mục mô hình và so sánh tốc độ, chất lượng ngay trên máy.

Sinh viên, nhân viên văn phòng

Hỏi đáp tài liệu ngắn

Đính kèm PDF hoặc DOCX rồi hỏi về nội dung; hợp tài liệu vừa phải, không thay thế hệ thống kho tri thức chuyên dụng.

Lập trình viên

Máy chủ API cục bộ cho dự án

Bật cờ API để ứng dụng khác gọi mô hình cục bộ như dùng API OpenAI.

Người làm AI nâng cao

Tinh chỉnh LoRA nhỏ

Huấn luyện LoRA từ dữ liệu hội thoại riêng ngay trong giao diện (cần GPU và hiểu biết nhất định).

Cần chuẩn bị gì?

  • Windows, macOS hoặc Linux; bản portable có các biến thể CUDA, Vulkan, ROCm và CPU-only.
  • Mô hình định dạng GGUF tải từ Hugging Face; dung lượng và RAM cần tuỳ mô hình, README trỏ tới công cụ ước tính bộ nhớ GGUF.
  • Bản cài đầy đủ: cần khoảng 10 GB ổ cứng và tải PyTorch.
  • Cài thủ công bằng Python: Python 3.9 trở lên (bản portable bằng venv).

Hướng dẫn cài đặt chi tiết

Cài trên Bản portable

  1. Vào trang Releases của repo, chọn bản phù hợp hệ điều hành và card đồ hoạ (CUDA, Vulkan, ROCm hoặc CPU).

    Văn bản
    https://github.com/oobabooga/textgen/releases
  2. Giải nén file tải về ra một thư mục, rồi bấm đúp file textgen để mở ứng dụng. Một cửa sổ sẽ hiện ra.

  3. Tải một mô hình GGUF từ Hugging Face (tìm theo từ khoá gguf) và bỏ vào thư mục user_data/models bên trong thư mục vừa giải nén; giao diện sẽ tự phát hiện mô hình.

Cài trên Cài bằng Python (venv)

  1. Cách này chạy giao diện trên trình duyệt thay vì cửa sổ ứng dụng. Tải mã nguồn và tạo môi trường ảo.

    Terminal
    git clone https://github.com/oobabooga/textgen
    cd textgen
    python -m venv venv
  2. Kích hoạt môi trường ảo trên macOS hoặc Linux; trên Windows thay bằng lệnh venvScriptsactivate.

    Terminal
    source venv/bin/activate
  3. Cài phụ thuộc theo file yêu cầu phù hợp phần cứng trong thư mục requirements/portable (đây là ví dụ file mặc định), rồi chạy máy chủ.

    Terminal
    pip install -r requirements/portable/requirements.txt --upgrade
    python server.py --portable --api --auto-launch

Cài trên Cài đầy đủ

  1. Tải mã nguồn bằng git hoặc tải file zip rồi giải nén. Chạy script khởi động theo hệ điều hành: start_windows.bat, start_linux.sh hoặc start_macos.sh.

  2. Khi được hỏi, chọn hãng GPU của bạn. Cài xong, mở địa chỉ sau trong trình duyệt.

    Văn bản
    http://127.0.0.1:7860
  3. Cập nhật về sau bằng script update_wizard cho hệ điều hành của bạn; muốn cài lại từ đầu, xoá thư mục installer_files rồi chạy lại script start.

Dùng thử lần đầu

  1. Mở ứng dụng và vào phần nạp mô hình; chọn file GGUF bạn đã bỏ vào thư mục user_data/models, rồi bấm nạp.

  2. Chuyển sang tab chat, chọn chế độ instruct và hỏi: Viết giúp tôi email hẹn lịch họp với khách hàng vào chiều thứ Sáu, lịch sự.

  3. Đính kèm một file PDF hoặc DOCX ngắn và nhờ tóm tắt ý chính, sau đó so với bản gốc.

  4. Thử sửa một tin nhắn cũ để rẽ nhánh cuộc trò chuyện và xem mô hình trả lời khác ra sao.

Mẹo dùng hay

  • Chọn mô hình GGUF vừa với RAM hoặc VRAM của bạn; README trỏ tới công cụ ước tính bộ nhớ GGUF trên Hugging Face để tính trước.
  • Mô hình nhiều file như bản Transformers 16-bit hay EXL3 phải đặt trong một thư mục con của user_data/models và cần bản cài đầy đủ chứ không dùng bản portable.
  • Lưu các cờ khởi chạy trong user_data/CMD_FLAGS.txt (ví dụ --api để bật API) để khỏi gõ lại mỗi lần.
  • Muốn nhanh hơn thì chọn bản portable đúng loại GPU thay vì bản CPU-only.

Lưu ý và hạn chế

  • Repo đã đổi tên từ text-generation-webui sang TextGen, nên các hướng dẫn cũ trên mạng có thể ghi tên hoặc đường dẫn khác.
  • Giấy phép AGPL-3.0: nếu bạn chỉnh sửa và cung cấp như dịch vụ cho người khác, cần tuân thủ điều khoản chia sẻ mã nguồn.
  • Chất lượng và tiếng Việt phụ thuộc hoàn toàn mô hình bạn nạp; ứng dụng chỉ là phần chạy và giao diện.
  • Bản cài đầy đủ và các extension dễ phát sinh xung đột thư viện, nên cần chút kiên nhẫn khi gỡ lỗi.

Câu hỏi thường gặp

TextGen có miễn phí không?

Có, hoàn toàn miễn phí và mã nguồn mở theo AGPL-3.0. Mô hình bạn nạp có giấy phép riêng cần đọc.

Máy không có card đồ hoạ có dùng được không?

Được, README có bản portable chỉ dùng CPU, tuy nhiên tốc độ chậm hơn nhiều và nên dùng mô hình nhỏ.

Dữ liệu có bị gửi đi đâu không?

README khẳng định ứng dụng không có telemetry, không tài nguyên bên ngoài và không yêu cầu cập nhật từ xa, nên chạy offline hoàn toàn sau khi tải mô hình.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/oobabooga/textgen.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân12,3K

KoboldCpp

LostRuins / koboldcpp

Một file .exe chạy mô hình AI GGUF với giao diện web có sẵn, mạnh về viết truyện và nhập vai

DễWindowsmacOSLinuxDocker
Trợ lý & chat AI45,7K

Jan

janhq / jan

Ứng dụng thay thế ChatGPT mã nguồn mở, chạy mô hình AI ngay trên máy tính của bạn

DễWindowsmacOSLinux

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Trợ lý & chat AI

Trợ lý & chat AI159K

Open WebUI

open-webui / open-webui

Giao diện chat AI kiểu ChatGPT tự cài trên máy của bạn, nối được với Ollama và các API AI khác

VừaDockerPythonWindowsmacOS+1
Trợ lý & chat AI89K

NextChat (ChatGPT Next Web)

ChatGPTNextWeb / NextChat

Giao diện chat AI gọn nhẹ, tự dựng bằng khoá API của bạn, có sẵn bản máy tính, web và iOS

VừaWindowsmacOSLinuxiOS+2
Trợ lý & chat AI85,6K

LobeHub

lobehub / lobehub

Không gian làm việc với nhiều tác tử AI (agent) làm cùng nhóm bạn, dùng đám mây hoặc tự cài bằng Docker

VừaWebDockerWindowsmacOS+1
Trợ lý & chat AI68,3K

AnythingLLM

Mintplex-Labs / anything-llm

Ứng dụng AI tất-cả-trong-một: chat với tài liệu của bạn, dùng agent, chạy cục bộ hoặc nối mô hình đám mây

DễWindowsmacOSLinuxDocker+1
Trợ lý & chat AI53,6K

Cherry Studio

CherryHQ / cherry-studio

Ứng dụng máy tính gom nhiều mô hình AI, agent, kho tri thức và dịch thuật vào một chỗ

DễWindowsmacOSLinuxAndroid+1
Trợ lý & chat AI47,2K

LibreChat

LibreChat-AI / LibreChat

Bản "ChatGPT tự dựng" nhiều người dùng, nối OpenAI, Claude, Gemini, Ollama... trong một giao diện duy nhất

VừaWebDockerWindowsmacOS+1

Xem cả 18 repo Trợ lý & chat AI Về Kho Repo