Chuyển đến nội dung

LostRuins / koboldcpp

KoboldCpp

Một file .exe chạy mô hình AI GGUF với giao diện web có sẵn, mạnh về viết truyện và nhập vai

KoboldCpp là phần mềm miễn phí để chạy mô hình ngôn ngữ định dạng GGUF trên máy của bạn, xây trên llama.cpp. Chỉ cần một file thực thi, không phải cài đặt, và có sẵn giao diện web KoboldAI Lite với nhiều công cụ cho viết truyện, nhập vai, chat. Ngoài chữ, nó còn có thể tạo ảnh, video, giọng nói, nhạc và chép lời với các mô hình tương thích.

  • 12.327 sao
  • 825 fork
  • Cập nhật hôm nay
Độ khó
Dễ Cài như phần mềm thường
Dạng
Ứng dụng máy tính, Dòng lệnh (CLI)
Chạy trên
Windows, macOS, Linux, Docker
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng KoboldCpp

Trên Windows bạn tải koboldcpp.exe ở trang Releases rồi bấm đúp. Một cửa sổ khởi chạy hiện ra, bạn chọn file mô hình GGUF đã tải riêng, để nguyên các thiết lập mặc định rồi bấm Launch. Khi mô hình nạp xong, bạn mở trình duyệt vào địa chỉ localhost cổng 5001 (README nêu rõ địa chỉ này) và bắt đầu trò chuyện.

Giao diện web KoboldAI Lite khác kiểu chat thông thường: có chế độ viết truyện, chế độ phiêu lưu, chế độ nhập vai với thẻ nhân vật kiểu Tavern, cùng các công cụ như bộ nhớ, world info, ghi chú tác giả. Người viết truyện hay nhập vai thường thích sự tuỳ biến này vì có thể chỉnh sâu cách mô hình viết tiếp.

Điểm cần biết là mô hình không đi kèm phần mềm. Bạn phải tự tải file GGUF, thường từ Hugging Face. Nếu chưa biết chọn gì, README gợi ý mở mục Get Help trong cửa sổ khởi chạy và chọn Newbie Templates, hoặc bắt đầu với mô hình nhỏ như Gemma3 4B rồi tăng dần tuỳ máy.

Tính năng nổi bật

Một file chạy ngay

Không cần cài đặt, không phụ thuộc thư viện ngoài; có bản cho Windows, Linux và Mac chip M, và bản nocuda hoặc oldpc cho máy đặc biệt.

Giao diện web cho viết truyện và nhập vai

KoboldAI Lite có nhiều chủ đề giao diện, bộ nhớ, world info, nhân vật, kịch bản và lưu truyện lâu dài.

Không chỉ chữ

Hỗ trợ tạo ảnh (như Stable Diffusion, SDXL, Flux), video, chuyển giọng nói thành chữ, chữ thành giọng nói và tạo nhạc, nếu bạn nạp mô hình tương thích.

API tương thích nhiều chuẩn

Có endpoint kiểu KoboldAI, OpenAI, Ollama, cho phép các ứng dụng khác kết nối vào KoboldCpp.

Công cụ và agent

Có hỗ trợ MCP, gọi công cụ, tìm kiếm web, RAG qua TextDB và KoboldCpp Agent tích hợp.

Chạy CPU hoặc GPU

Chạy được trên CPU, đẩy một phần hoặc toàn bộ lớp lên GPU để nhanh hơn.

Tận dụng KoboldCpp vào việc gì?

Người viết lách, tác giả truyện mạng

Viết truyện, tiểu thuyết với AI hỗ trợ

Dùng chế độ story, world info và bộ nhớ để mô hình giữ nhất quán nhân vật, bối cảnh khi viết dài.

Người chơi roleplay

Nhập vai với nhân vật tuỳ chỉnh

Nhập thẻ nhân vật định dạng Tavern và trò chuyện, mọi thứ chạy trên máy nên không bị kiểm duyệt hay giới hạn của dịch vụ online.

Lập trình viên

Máy chủ AI cục bộ cho ứng dụng khác

Dùng KoboldCpp làm backend, cho ứng dụng khác gọi qua API kiểu OpenAI.

Người thích khám phá AI

Thử mô hình mới nhanh chóng

Tải một file GGUF mới từ Hugging Face rồi nạp vào, không cần dựng môi trường Python.

Người làm nội dung

Tạo ảnh và giọng đọc cục bộ

Nạp mô hình ảnh hoặc TTS tương thích để tạo ảnh minh hoạ hoặc giọng đọc ngay trên máy, nhớ tuân thủ luật và giấy phép mô hình.

Cần chuẩn bị gì?

  • Windows, Linux x86-64 hoặc macOS chip Apple Silicon cho bản dựng sẵn; Mac Intel cần build từ mã nguồn.
  • GPU không bắt buộc; README nói dung lượng bộ nhớ cần phụ thuộc kích thước mô hình và độ dài ngữ cảnh.
  • Phải tự tải file mô hình GGUF riêng, dung lượng từ vài GB trở lên tuỳ mô hình.
  • Máy yếu hoặc CPU cũ có thể cần bản oldpc; không dùng NVIDIA CUDA thì có thể chọn bản nocuda nhỏ hơn.

Hướng dẫn cài đặt chi tiết

Cài trên Windows

  1. Tải koboldcpp.exe từ trang Releases chính thức của dự án rồi bấm đúp để mở cửa sổ khởi chạy. Chỉ tải từ GitHub của dự án hoặc koboldcpp.net, README cảnh báo koboldcpp.com là trang lừa đảo.

    Văn bản
    https://github.com/LostRuins/koboldcpp/releases/latest/download/koboldcpp.exe
  2. Không có card NVIDIA hoặc muốn bản nhẹ hơn thì dùng bản nocuda, hỗ trợ CPU và Vulkan. Máy đời cũ gặp lỗi thì thử bản oldpc.

    Văn bản
    https://github.com/LostRuins/koboldcpp/releases/latest/download/koboldcpp-nocuda.exe
  3. Tải một mô hình GGUF từ Hugging Face rồi chọn nó ở ô GGUF Text Model trong cửa sổ khởi chạy. Chưa biết chọn gì thì mở mục Get Help và xem Newbie Templates.

  4. Bấm Launch, chờ mô hình nạp xong, rồi mở trình duyệt vào địa chỉ dưới đây.

    Văn bản
    http://localhost:5001

Cài trên macOS

  1. Chỉ có bản dựng sẵn cho Mac chip Apple Silicon. Tải file về, cấp quyền chạy rồi mở bằng Terminal.

    Terminal
    chmod +x koboldcpp-mac-arm64
    ./koboldcpp-mac-arm64
  2. Nếu macOS chặn, mở Cài đặt hệ thống rồi Quyền riêng tư và bảo mật để cho phép chạy, theo hướng dẫn Apple mà README trỏ tới. Mac Intel phải build từ mã nguồn.

Cài trên Linux

  1. Tải bản dựng sẵn cho Linux x86-64 từ trang Releases rồi cấp quyền chạy và khởi động.

    Terminal
    curl -fLo koboldcpp-linux-x64 https://github.com/LostRuins/koboldcpp/releases/latest/download/koboldcpp-linux-x64 && chmod +x koboldcpp-linux-x64 && ./koboldcpp-linux-x64
  2. Có thể nạp mô hình ngay từ dòng lệnh, thay đường dẫn bằng file GGUF của bạn.

    Terminal
    ./koboldcpp-linux-x64 --model /path/to/model.gguf

Dùng thử lần đầu

  1. Tải một mô hình nhỏ dạng GGUF như Gemma 3 4B bản Q4 để chạy nhẹ nhàng, hoặc chọn từ Newbie Templates trong KoboldCpp.

  2. Mở koboldcpp.exe, chọn file mô hình ở mục GGUF Text Model, giữ nguyên các thiết lập mặc định rồi bấm Launch.

  3. Khi trình duyệt mở trang KoboldAI Lite, thử chế độ chat hoặc instruct và gõ yêu cầu tiếng Việt, ví dụ viết mở đầu một truyện ngắn.

  4. Thử chế độ story: gõ vài câu mở đầu và để AI viết tiếp, sau đó dùng bộ nhớ hoặc ghi chú tác giả để định hướng nội dung.

  5. Nếu máy chạy chậm, đọc phần Troubleshooting and Improving Performance trong README để chỉnh số lớp đẩy lên GPU và độ dài ngữ cảnh.

Mẹo dùng hay

  • Mô hình nhỏ hơn nghĩa là nhanh hơn và ít tốn RAM, hãy thử bản 4B trước rồi mới lên 8B hoặc hơn.
  • Muốn ứng dụng khác dùng chung, hãy kết nối qua API tương thích OpenAI hoặc Ollama mà KoboldCpp cung cấp.
  • Không có mô hình nội bộ vẫn dùng được: bạn có thể nối giao diện với dịch vụ bên ngoài như OpenRouter, Gemini, Anthropic khi chạy với tuỳ chọn không nạp mô hình.

Lưu ý và hạn chế

  • Giấy phép phần mềm là AGPL v3.0, các thành phần đi kèm giữ giấy phép riêng; mô hình bạn tải về có điều khoản riêng, hãy đọc kỹ trước khi dùng thương mại.
  • Tính năng tạo ảnh, giọng nói, video có thể bị lạm dụng như làm giả giọng hoặc nội dung đánh lừa. Chỉ dùng khi có sự đồng ý của người liên quan và tôn trọng bản quyền, luật pháp.
  • Chất lượng tiếng Việt phụ thuộc hoàn toàn vào mô hình; mô hình nhỏ thường viết tiếng Việt chưa trôi chảy.

Câu hỏi thường gặp

KoboldCpp có miễn phí không?

Có, phần mềm miễn phí và mã nguồn mở theo AGPL v3.0. Bạn chỉ tốn tiền điện và dung lượng ổ cứng, trừ khi nối với dịch vụ AI online tính phí.

Cần card đồ hoạ không?

Không bắt buộc. README nói GPU rời là tuỳ chọn, nhưng có GPU thì tốc độ cao hơn nhiều. Dung lượng bộ nhớ cần phụ thuộc vào mô hình và độ dài ngữ cảnh.

Tải KoboldCpp ở đâu cho an toàn?

Chỉ tải từ trang Releases của GitHub dự án hoặc trang chính thức koboldcpp.net. README cảnh báo koboldcpp.com là trang giả mạo độc hại.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/LostRuins/koboldcpp.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Trợ lý & chat AI47,7K

TextGen (text-generation-webui)

oobabooga / textgen

Ứng dụng chạy mô hình ngôn ngữ trên máy, giải nén là dùng, riêng tư tuyệt đối và không thu thập dữ liệu

VừaWindowsmacOSLinuxPython
Trợ lý & chat AI35,7K

SillyTavern

SillyTavern / SillyTavern

Giao diện chat chạy trên máy cho người dùng nâng cao, nối nhiều mô hình AI để nhập vai với nhân vật

VừaWindowsmacOSLinuxNode.js

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo