Trải nghiệm khi dùng TextGen (text-generation-webui)
Cách khởi đầu dễ nhất: vào trang Releases của repo, tải bản portable đúng với máy (có tuỳ chọn CUDA cho card NVIDIA, Vulkan, ROCm cho AMD hoặc chỉ CPU), giải nén rồi bấm đúp textgen. Một cửa sổ ứng dụng mở ra, mọi thư viện đã gói sẵn. Bản này dùng định dạng GGUF chạy bằng llama.cpp.
Bạn cần một mô hình: tải file GGUF từ Hugging Face rồi bỏ vào thư mục user_data/models, giao diện tự nhận. Từ đó bạn chat theo kiểu hướng dẫn như ChatGPT, hoặc chat với nhân vật tuỳ chỉnh, chỉnh sửa tin nhắn, rẽ nhánh cuộc trò chuyện, đính kèm PDF, DOCX hay ảnh để hỏi.
Khi cần nhiều hơn như backend ExLlamaV3, Transformers, huấn luyện LoRA, tạo ảnh hoặc các extension (TTS, giọng nói, dịch), bạn dùng bản cài đầy đủ qua script start_windows.bat, start_linux.sh hay start_macos.sh. Bản đầy đủ cần khoảng 10 GB ổ cứng và tải PyTorch.
Tính năng nổi bật
Giải nén là chạy
Bản portable cho Windows, macOS và Linux gói sẵn mọi thứ, có bản cho CUDA, Vulkan, ROCm và CPU.
Nhiều chế độ chat
Chế độ instruct như ChatGPT, chế độ chat với nhân vật, sửa tin nhắn, chuyển giữa các phiên bản tin nhắn, rẽ nhánh hội thoại.
Hiểu ảnh và đính kèm file
Đính kèm ảnh để mô hình mô tả; tải lên file văn bản, PDF, DOCX rồi hỏi về nội dung.
API tương thích OpenAI và Anthropic
Dùng như máy chủ thay thế cục bộ cho các ứng dụng đang gọi API OpenAI hoặc Anthropic, hỗ trợ gọi công cụ và MCP.
Huấn luyện LoRA và tạo ảnh
Tab huấn luyện LoRA cho hội thoại hoặc văn bản thô, tab tạo ảnh cho mô hình diffusers như Z-Image-Turbo.
Riêng tư, không telemetry
README khẳng định chạy 100 phần trăm offline, không telemetry, không tài nguyên bên ngoài và không yêu cầu cập nhật từ xa.
Tận dụng TextGen (text-generation-webui) vào việc gì?
Dân văn phòng, người làm nội dung
Chat AI riêng tư trên máy
Soạn nháp, tóm tắt, viết lại văn bản mà không gửi gì ra Internet.
Người thích khám phá AI
Thử nhiều mô hình GGUF
Bỏ các file GGUF khác nhau vào thư mục mô hình và so sánh tốc độ, chất lượng ngay trên máy.
Sinh viên, nhân viên văn phòng
Hỏi đáp tài liệu ngắn
Đính kèm PDF hoặc DOCX rồi hỏi về nội dung; hợp tài liệu vừa phải, không thay thế hệ thống kho tri thức chuyên dụng.
Lập trình viên
Máy chủ API cục bộ cho dự án
Bật cờ API để ứng dụng khác gọi mô hình cục bộ như dùng API OpenAI.
Người làm AI nâng cao
Tinh chỉnh LoRA nhỏ
Huấn luyện LoRA từ dữ liệu hội thoại riêng ngay trong giao diện (cần GPU và hiểu biết nhất định).
Cần chuẩn bị gì?
- Windows, macOS hoặc Linux; bản portable có các biến thể CUDA, Vulkan, ROCm và CPU-only.
- Mô hình định dạng GGUF tải từ Hugging Face; dung lượng và RAM cần tuỳ mô hình, README trỏ tới công cụ ước tính bộ nhớ GGUF.
- Bản cài đầy đủ: cần khoảng 10 GB ổ cứng và tải PyTorch.
- Cài thủ công bằng Python: Python 3.9 trở lên (bản portable bằng venv).
Hướng dẫn cài đặt chi tiết
Cài trên Bản portable
Vào trang Releases của repo, chọn bản phù hợp hệ điều hành và card đồ hoạ (CUDA, Vulkan, ROCm hoặc CPU).
https://github.com/oobabooga/textgen/releasesGiải nén file tải về ra một thư mục, rồi bấm đúp file textgen để mở ứng dụng. Một cửa sổ sẽ hiện ra.
Tải một mô hình GGUF từ Hugging Face (tìm theo từ khoá gguf) và bỏ vào thư mục user_data/models bên trong thư mục vừa giải nén; giao diện sẽ tự phát hiện mô hình.
Cài trên Cài bằng Python (venv)
Cách này chạy giao diện trên trình duyệt thay vì cửa sổ ứng dụng. Tải mã nguồn và tạo môi trường ảo.
git clone https://github.com/oobabooga/textgen cd textgen python -m venv venvKích hoạt môi trường ảo trên macOS hoặc Linux; trên Windows thay bằng lệnh venvScriptsactivate.
source venv/bin/activateCài phụ thuộc theo file yêu cầu phù hợp phần cứng trong thư mục requirements/portable (đây là ví dụ file mặc định), rồi chạy máy chủ.
pip install -r requirements/portable/requirements.txt --upgrade python server.py --portable --api --auto-launch
Cài trên Cài đầy đủ
Tải mã nguồn bằng git hoặc tải file zip rồi giải nén. Chạy script khởi động theo hệ điều hành: start_windows.bat, start_linux.sh hoặc start_macos.sh.
Khi được hỏi, chọn hãng GPU của bạn. Cài xong, mở địa chỉ sau trong trình duyệt.
http://127.0.0.1:7860Cập nhật về sau bằng script update_wizard cho hệ điều hành của bạn; muốn cài lại từ đầu, xoá thư mục installer_files rồi chạy lại script start.
Dùng thử lần đầu
Mở ứng dụng và vào phần nạp mô hình; chọn file GGUF bạn đã bỏ vào thư mục user_data/models, rồi bấm nạp.
Chuyển sang tab chat, chọn chế độ instruct và hỏi: Viết giúp tôi email hẹn lịch họp với khách hàng vào chiều thứ Sáu, lịch sự.
Đính kèm một file PDF hoặc DOCX ngắn và nhờ tóm tắt ý chính, sau đó so với bản gốc.
Thử sửa một tin nhắn cũ để rẽ nhánh cuộc trò chuyện và xem mô hình trả lời khác ra sao.
Mẹo dùng hay
- Chọn mô hình GGUF vừa với RAM hoặc VRAM của bạn; README trỏ tới công cụ ước tính bộ nhớ GGUF trên Hugging Face để tính trước.
- Mô hình nhiều file như bản Transformers 16-bit hay EXL3 phải đặt trong một thư mục con của user_data/models và cần bản cài đầy đủ chứ không dùng bản portable.
- Lưu các cờ khởi chạy trong user_data/CMD_FLAGS.txt (ví dụ --api để bật API) để khỏi gõ lại mỗi lần.
- Muốn nhanh hơn thì chọn bản portable đúng loại GPU thay vì bản CPU-only.
Lưu ý và hạn chế
- Repo đã đổi tên từ text-generation-webui sang TextGen, nên các hướng dẫn cũ trên mạng có thể ghi tên hoặc đường dẫn khác.
- Giấy phép AGPL-3.0: nếu bạn chỉnh sửa và cung cấp như dịch vụ cho người khác, cần tuân thủ điều khoản chia sẻ mã nguồn.
- Chất lượng và tiếng Việt phụ thuộc hoàn toàn mô hình bạn nạp; ứng dụng chỉ là phần chạy và giao diện.
- Bản cài đầy đủ và các extension dễ phát sinh xung đột thư viện, nên cần chút kiên nhẫn khi gỡ lỗi.
Câu hỏi thường gặp
TextGen có miễn phí không?
Có, hoàn toàn miễn phí và mã nguồn mở theo AGPL-3.0. Mô hình bạn nạp có giấy phép riêng cần đọc.
Máy không có card đồ hoạ có dùng được không?
Được, README có bản portable chỉ dùng CPU, tuy nhiên tốc độ chậm hơn nhiều và nên dùng mô hình nhỏ.
Dữ liệu có bị gửi đi đâu không?
README khẳng định ứng dụng không có telemetry, không tài nguyên bên ngoài và không yêu cầu cập nhật từ xa, nên chạy offline hoàn toàn sau khi tải mô hình.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/oobabooga/textgen.gitRepo tương tự nên xem
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
KoboldCpp
LostRuins / koboldcpp
Một file .exe chạy mô hình AI GGUF với giao diện web có sẵn, mạnh về viết truyện và nhập vai
Jan
janhq / jan
Ứng dụng thay thế ChatGPT mã nguồn mở, chạy mô hình AI ngay trên máy tính của bạn