Trải nghiệm khi dùng Kotaemon
Sau khi chạy xong, bạn mở một trang web ngay trên máy mình, đăng nhập bằng tài khoản mặc định rồi vào phần quản lý file để kéo thả vài tài liệu PDF vào. Chờ ứng dụng đọc và lập chỉ mục (index) xong, bạn sang tab chat và hỏi bằng ngôn ngữ thường, ví dụ: điều khoản bảo hành trong hợp đồng này nói gì.
Câu trả lời hiện ra kèm các mục trích dẫn. Bấm vào một trích dẫn, trình xem PDF ngay trong trình duyệt sẽ mở đúng trang và tô sáng đoạn mà AI dựa vào, nên bạn kiểm chứng được AI có nói đúng hay không thay vì phải tin mù quáng. Nếu tài liệu không có thông tin liên quan, ứng dụng sẽ cảnh báo là kết quả tìm được ít liên quan.
Phần mô hình AI bạn tự chọn: nối với dịch vụ trả phí như OpenAI hoặc chạy hoàn toàn trên máy qua Ollama. Có trang cài đặt để chỉnh cách tìm kiếm và cả lời nhắc (prompt), còn nhà phát triển có thể dùng nó như một bộ khung để dựng quy trình hỏi đáp tài liệu riêng.
Tính năng nổi bật
Trích dẫn rõ ràng, xem được ngay trong trình duyệt
Mỗi câu trả lời kèm nguồn và điểm liên quan; bấm vào là xem đoạn gốc được tô sáng trong file PDF.
Dùng được cả AI online và AI chạy trên máy
Kết nối OpenAI, Azure, Groq hoặc các dịch vụ tương tự, hoặc chạy cục bộ qua Ollama và llama-cpp-python để tài liệu không rời khỏi máy.
Tìm kiếm kết hợp để ít bỏ sót
Pipeline mặc định kết hợp tìm theo từ khoá và tìm theo ngữ nghĩa rồi xếp hạng lại, giúp tìm đúng đoạn cần hơn.
Hỗ trợ tài liệu có hình và bảng
Có tuỳ chọn đọc tài liệu đa phương thức, nên bảng biểu và hình minh hoạ không bị bỏ qua hoàn toàn.
Nhiều người dùng, thư mục riêng và chung
Có đăng nhập nhiều tài khoản, sắp xếp file vào bộ sưu tập riêng tư hoặc chia sẻ, và chia sẻ cuộc trò chuyện hay cho đồng nghiệp.
Hỏi câu phức tạp từng bước
Hỗ trợ tách câu hỏi lớn thành các câu nhỏ và chế độ agent suy luận, có sẵn ví dụ lập chỉ mục dạng đồ thị (GraphRAG).
Tận dụng Kotaemon vào việc gì?
Dân văn phòng, nhân sự, pháp chế
Hỏi nhanh trong hợp đồng, quy chế công ty
Tải bộ quy chế hoặc hợp đồng mẫu lên rồi hỏi các câu như thời gian thử việc, mức phạt vi phạm. Nhờ trích dẫn, bạn đối chiếu được ngay với văn bản gốc.
Sinh viên, học viên cao học
Ôn tập từ giáo trình và bài báo
Đưa giáo trình PDF hoặc bài báo khoa học vào và hỏi lại khái niệm khó, nhờ tóm tắt từng chương. Kiểm tra lại bằng trích dẫn để tránh học sai do AI bịa.
Chủ doanh nghiệp nhỏ, IT nội bộ
Kho kiến thức nội bộ cho nhóm nhỏ
Cài trên một máy chủ trong công ty, tạo tài khoản cho nhân viên và nạp tài liệu hướng dẫn bán hàng, chính sách đổi trả để nhân viên mới tự tra cứu.
Lập trình viên
Thử nghiệm và dựng quy trình RAG riêng
Dùng Kotaemon làm khung có sẵn giao diện để thử các chiến lược lập chỉ mục, truy xuất khác nhau trước khi đưa vào sản phẩm thật.
Cần chuẩn bị gì?
- Python 3.10 trở lên nếu cài trực tiếp, hoặc Docker nếu muốn chạy bằng container (Docker được README khuyên dùng).
- Một mô hình AI để trả lời: API key của dịch vụ như OpenAI, hoặc Ollama chạy trên máy (cần RAM, card đồ hoạ tuỳ mô hình).
- Muốn đọc nhiều định dạng ngoài PDF, HTML, MHTML, XLSX thì cần thêm thư viện Unstructured hoặc chọn bản Docker full.
- README nói Docker hỗ trợ và kiểm thử trên linux/amd64 và linux/arm64 (Mac chip mới).
Hướng dẫn cài đặt chi tiết
Cài trên Docker
Cài Docker Desktop (hoặc Docker Engine trên Linux) và mở lên. Bản lite nhẹ và đủ cho đa số người dùng; bản full cài thêm thư viện để đọc file .doc, .docx và nhiều định dạng khác nhưng ảnh nặng hơn.
Chạy bản full bằng lệnh sau (trong bash hoặc Terminal). Thư mục ktem_app_data trên máy bạn sẽ lưu dữ liệu ứng dụng. Muốn bản lite thì thay phần tên ảnh cuối bằng main-lite, muốn bản có sẵn Ollama thì dùng main-ollama.
docker run \ -e GRADIO_SERVER_NAME=0.0.0.0 \ -e GRADIO_SERVER_PORT=7860 \ -v ./ktem_app_data:/app/ktem_app_data \ -p 7860:7860 -it --rm \ ghcr.io/cinnamon/kotaemon:main-fullKhi mọi thứ chạy xong, mở trình duyệt vào địa chỉ dưới để dùng giao diện.
http://localhost:7860/
Cài trên Tải bản zip (người không code)
README hướng người không phải lập trình viên sang User Guide: mở trang cinnamon.github.io/kotaemon rồi làm theo hướng dẫn cài.
Tải file .zip của bản phát hành mới nhất ở trang Releases của dự án (github.com/Cinnamon/kotaemon/releases/latest) để có tính năng và bản sửa lỗi mới nhất, sau đó giải nén và làm theo các bước trong User Guide.
Cài trên Python (từ mã nguồn)
Cài Python 3.10 trở lên và git, rồi tải mã nguồn về.
git clone https://github.com/Cinnamon/kotaemon cd kotaemonTạo môi trường và cài thư viện. Cách README khuyên dùng là uv; lệnh kích hoạt môi trường dưới đây là của Linux/macOS (trên Windows PowerShell dùng .venv\Scripts\Activate.ps1).
uv sync --python 3.10 source .venv/bin/activateTạo file .env ở thư mục gốc dựa trên file mẫu .env.example (điền API key nếu dùng dịch vụ online), rồi khởi động. Ứng dụng sẽ tự mở trong trình duyệt.
python app.pyĐăng nhập lần đầu bằng tài khoản admin, mật khẩu admin (README nói đây là mặc định). Nên đổi mật khẩu ngay, nhất là khi cho người khác cùng dùng.
Dùng thử lần đầu
Đăng nhập vào giao diện, sau đó vào tab Resources và mục cấu hình mô hình (LLMs and Embeddings) để chắc chắn api_key hoặc kết nối Ollama đã được điền đúng.
Vào phần quản lý file và tải lên một hai tài liệu PDF nhỏ để thử. Chờ ứng dụng lập chỉ mục xong rồi mới hỏi.
Sang tab chat, chọn tài liệu vừa tải rồi hỏi một câu có đáp án rõ trong file, ví dụ: tài liệu này nói gì về thời hạn thanh toán.
Bấm vào mục trích dẫn dưới câu trả lời để xem trình xem PDF tô sáng đoạn gốc, và so xem AI trả lời có khớp không.
Thử hỏi một câu mà tài liệu không hề đề cập để xem ứng dụng cảnh báo khi kết quả tìm được ít liên quan.
Mẹo dùng hay
- Mới thử thì dùng bản Docker lite cho nhẹ; chỉ chuyển sang full khi bạn cần đọc file Word hoặc các định dạng khác.
- Muốn dữ liệu không rời khỏi máy, dùng ảnh Docker main-ollama hoặc nối với Ollama sẵn có, và chọn mô hình hỗ trợ tiếng Việt tốt như Qwen hoặc Gemma.
- Tài liệu quét ảnh (scan) thường đọc kém; hãy chạy OCR trước để file có lớp chữ rồi mới tải lên.
- Chia tài liệu thành các bộ sưu tập theo chủ đề để kết quả tìm kiếm gọn và đúng hơn.
Lưu ý và hạn chế
- Mật khẩu admin mặc định là admin, nếu mở ứng dụng ra mạng hay cho người khác truy cập mà không đổi thì rất nguy hiểm.
- Chất lượng câu trả lời phụ thuộc vào mô hình bạn chọn và chất lượng file gốc; mô hình nhỏ chạy trên máy thường kém hơn các dịch vụ online, nhất là với tiếng Việt.
- Tính năng đồ thị tri thức (GraphRAG) cần cài thêm và README lưu ý có thể xung đột phiên bản thư viện; hãy coi đó là phần nâng cao.
Câu hỏi thường gặp
Kotaemon có miễn phí không?
Phần mềm mã nguồn mở theo giấy phép Apache-2.0 nên miễn phí. Bạn chỉ tốn tiền nếu dùng API AI trả phí; chạy bằng Ollama trên máy thì không tốn phí theo lượt dùng.
Hỏi bằng tiếng Việt có được không?
README không nêu riêng về tiếng Việt. Khả năng này phụ thuộc vào mô hình ngôn ngữ và mô hình embedding bạn chọn; các mô hình lớn hiện nay thường xử lý tiếng Việt khá ổn.
Tài liệu của tôi có bị gửi đi đâu không?
Nếu nối với dịch vụ AI online thì đoạn trích tài liệu sẽ được gửi tới dịch vụ đó. Muốn giữ kín hoàn toàn, hãy dùng mô hình chạy cục bộ qua Ollama.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/Cinnamon/kotaemon.gitRepo tương tự nên xem
RAGFlow
infiniflow / ragflow
Nền tảng tự cài giúp AI trả lời dựa trên tài liệu của bạn, có trích dẫn nguồn.
AnythingLLM
Mintplex-Labs / anything-llm
Ứng dụng AI tất-cả-trong-một: chat với tài liệu của bạn, dùng agent, chạy cục bộ hoặc nối mô hình đám mây
Open WebUI
open-webui / open-webui
Giao diện chat AI kiểu ChatGPT tự cài trên máy của bạn, nối được với Ollama và các API AI khác