Trải nghiệm khi dùng KoboldCpp
Trên Windows bạn tải koboldcpp.exe ở trang Releases rồi bấm đúp. Một cửa sổ khởi chạy hiện ra, bạn chọn file mô hình GGUF đã tải riêng, để nguyên các thiết lập mặc định rồi bấm Launch. Khi mô hình nạp xong, bạn mở trình duyệt vào địa chỉ localhost cổng 5001 (README nêu rõ địa chỉ này) và bắt đầu trò chuyện.
Giao diện web KoboldAI Lite khác kiểu chat thông thường: có chế độ viết truyện, chế độ phiêu lưu, chế độ nhập vai với thẻ nhân vật kiểu Tavern, cùng các công cụ như bộ nhớ, world info, ghi chú tác giả. Người viết truyện hay nhập vai thường thích sự tuỳ biến này vì có thể chỉnh sâu cách mô hình viết tiếp.
Điểm cần biết là mô hình không đi kèm phần mềm. Bạn phải tự tải file GGUF, thường từ Hugging Face. Nếu chưa biết chọn gì, README gợi ý mở mục Get Help trong cửa sổ khởi chạy và chọn Newbie Templates, hoặc bắt đầu với mô hình nhỏ như Gemma3 4B rồi tăng dần tuỳ máy.
Tính năng nổi bật
Một file chạy ngay
Không cần cài đặt, không phụ thuộc thư viện ngoài; có bản cho Windows, Linux và Mac chip M, và bản nocuda hoặc oldpc cho máy đặc biệt.
Giao diện web cho viết truyện và nhập vai
KoboldAI Lite có nhiều chủ đề giao diện, bộ nhớ, world info, nhân vật, kịch bản và lưu truyện lâu dài.
Không chỉ chữ
Hỗ trợ tạo ảnh (như Stable Diffusion, SDXL, Flux), video, chuyển giọng nói thành chữ, chữ thành giọng nói và tạo nhạc, nếu bạn nạp mô hình tương thích.
API tương thích nhiều chuẩn
Có endpoint kiểu KoboldAI, OpenAI, Ollama, cho phép các ứng dụng khác kết nối vào KoboldCpp.
Công cụ và agent
Có hỗ trợ MCP, gọi công cụ, tìm kiếm web, RAG qua TextDB và KoboldCpp Agent tích hợp.
Chạy CPU hoặc GPU
Chạy được trên CPU, đẩy một phần hoặc toàn bộ lớp lên GPU để nhanh hơn.
Tận dụng KoboldCpp vào việc gì?
Người viết lách, tác giả truyện mạng
Viết truyện, tiểu thuyết với AI hỗ trợ
Dùng chế độ story, world info và bộ nhớ để mô hình giữ nhất quán nhân vật, bối cảnh khi viết dài.
Người chơi roleplay
Nhập vai với nhân vật tuỳ chỉnh
Nhập thẻ nhân vật định dạng Tavern và trò chuyện, mọi thứ chạy trên máy nên không bị kiểm duyệt hay giới hạn của dịch vụ online.
Lập trình viên
Máy chủ AI cục bộ cho ứng dụng khác
Dùng KoboldCpp làm backend, cho ứng dụng khác gọi qua API kiểu OpenAI.
Người thích khám phá AI
Thử mô hình mới nhanh chóng
Tải một file GGUF mới từ Hugging Face rồi nạp vào, không cần dựng môi trường Python.
Người làm nội dung
Tạo ảnh và giọng đọc cục bộ
Nạp mô hình ảnh hoặc TTS tương thích để tạo ảnh minh hoạ hoặc giọng đọc ngay trên máy, nhớ tuân thủ luật và giấy phép mô hình.
Cần chuẩn bị gì?
- Windows, Linux x86-64 hoặc macOS chip Apple Silicon cho bản dựng sẵn; Mac Intel cần build từ mã nguồn.
- GPU không bắt buộc; README nói dung lượng bộ nhớ cần phụ thuộc kích thước mô hình và độ dài ngữ cảnh.
- Phải tự tải file mô hình GGUF riêng, dung lượng từ vài GB trở lên tuỳ mô hình.
- Máy yếu hoặc CPU cũ có thể cần bản oldpc; không dùng NVIDIA CUDA thì có thể chọn bản nocuda nhỏ hơn.
Hướng dẫn cài đặt chi tiết
Cài trên Windows
Tải koboldcpp.exe từ trang Releases chính thức của dự án rồi bấm đúp để mở cửa sổ khởi chạy. Chỉ tải từ GitHub của dự án hoặc koboldcpp.net, README cảnh báo koboldcpp.com là trang lừa đảo.
https://github.com/LostRuins/koboldcpp/releases/latest/download/koboldcpp.exeKhông có card NVIDIA hoặc muốn bản nhẹ hơn thì dùng bản nocuda, hỗ trợ CPU và Vulkan. Máy đời cũ gặp lỗi thì thử bản oldpc.
https://github.com/LostRuins/koboldcpp/releases/latest/download/koboldcpp-nocuda.exeTải một mô hình GGUF từ Hugging Face rồi chọn nó ở ô GGUF Text Model trong cửa sổ khởi chạy. Chưa biết chọn gì thì mở mục Get Help và xem Newbie Templates.
Bấm Launch, chờ mô hình nạp xong, rồi mở trình duyệt vào địa chỉ dưới đây.
http://localhost:5001
Cài trên macOS
Chỉ có bản dựng sẵn cho Mac chip Apple Silicon. Tải file về, cấp quyền chạy rồi mở bằng Terminal.
chmod +x koboldcpp-mac-arm64 ./koboldcpp-mac-arm64Nếu macOS chặn, mở Cài đặt hệ thống rồi Quyền riêng tư và bảo mật để cho phép chạy, theo hướng dẫn Apple mà README trỏ tới. Mac Intel phải build từ mã nguồn.
Cài trên Linux
Tải bản dựng sẵn cho Linux x86-64 từ trang Releases rồi cấp quyền chạy và khởi động.
curl -fLo koboldcpp-linux-x64 https://github.com/LostRuins/koboldcpp/releases/latest/download/koboldcpp-linux-x64 && chmod +x koboldcpp-linux-x64 && ./koboldcpp-linux-x64Có thể nạp mô hình ngay từ dòng lệnh, thay đường dẫn bằng file GGUF của bạn.
./koboldcpp-linux-x64 --model /path/to/model.gguf
Dùng thử lần đầu
Tải một mô hình nhỏ dạng GGUF như Gemma 3 4B bản Q4 để chạy nhẹ nhàng, hoặc chọn từ Newbie Templates trong KoboldCpp.
Mở koboldcpp.exe, chọn file mô hình ở mục GGUF Text Model, giữ nguyên các thiết lập mặc định rồi bấm Launch.
Khi trình duyệt mở trang KoboldAI Lite, thử chế độ chat hoặc instruct và gõ yêu cầu tiếng Việt, ví dụ viết mở đầu một truyện ngắn.
Thử chế độ story: gõ vài câu mở đầu và để AI viết tiếp, sau đó dùng bộ nhớ hoặc ghi chú tác giả để định hướng nội dung.
Nếu máy chạy chậm, đọc phần Troubleshooting and Improving Performance trong README để chỉnh số lớp đẩy lên GPU và độ dài ngữ cảnh.
Mẹo dùng hay
- Mô hình nhỏ hơn nghĩa là nhanh hơn và ít tốn RAM, hãy thử bản 4B trước rồi mới lên 8B hoặc hơn.
- Muốn ứng dụng khác dùng chung, hãy kết nối qua API tương thích OpenAI hoặc Ollama mà KoboldCpp cung cấp.
- Không có mô hình nội bộ vẫn dùng được: bạn có thể nối giao diện với dịch vụ bên ngoài như OpenRouter, Gemini, Anthropic khi chạy với tuỳ chọn không nạp mô hình.
Lưu ý và hạn chế
- Giấy phép phần mềm là AGPL v3.0, các thành phần đi kèm giữ giấy phép riêng; mô hình bạn tải về có điều khoản riêng, hãy đọc kỹ trước khi dùng thương mại.
- Tính năng tạo ảnh, giọng nói, video có thể bị lạm dụng như làm giả giọng hoặc nội dung đánh lừa. Chỉ dùng khi có sự đồng ý của người liên quan và tôn trọng bản quyền, luật pháp.
- Chất lượng tiếng Việt phụ thuộc hoàn toàn vào mô hình; mô hình nhỏ thường viết tiếng Việt chưa trôi chảy.
Câu hỏi thường gặp
KoboldCpp có miễn phí không?
Có, phần mềm miễn phí và mã nguồn mở theo AGPL v3.0. Bạn chỉ tốn tiền điện và dung lượng ổ cứng, trừ khi nối với dịch vụ AI online tính phí.
Cần card đồ hoạ không?
Không bắt buộc. README nói GPU rời là tuỳ chọn, nhưng có GPU thì tốc độ cao hơn nhiều. Dung lượng bộ nhớ cần phụ thuộc vào mô hình và độ dài ngữ cảnh.
Tải KoboldCpp ở đâu cho an toàn?
Chỉ tải từ trang Releases của GitHub dự án hoặc trang chính thức koboldcpp.net. README cảnh báo koboldcpp.com là trang giả mạo độc hại.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/LostRuins/koboldcpp.gitRepo tương tự nên xem
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac
TextGen (text-generation-webui)
oobabooga / textgen
Ứng dụng chạy mô hình ngôn ngữ trên máy, giải nén là dùng, riêng tư tuyệt đối và không thu thập dữ liệu
SillyTavern
SillyTavern / SillyTavern
Giao diện chat chạy trên máy cho người dùng nâng cao, nối nhiều mô hình AI để nhập vai với nhân vật