Trải nghiệm khi dùng Ollama
Bạn cài Ollama như một phần mềm bình thường, sau đó mở Terminal (cửa sổ gõ lệnh) và gõ ollama run gemma4. Lần đầu nó tải mô hình về, mất vài phút tuỳ mạng; những lần sau bật lên gần như ngay lập tức. Khi thấy dấu nhắc, bạn cứ gõ câu hỏi bằng tiếng Việt như đang chat với ChatGPT, chữ chạy ra từng dòng ngay trên máy mình.
Điểm khiến nhiều người mê Ollama là cảm giác yên tâm: rút dây mạng ra vẫn chat được, tài liệu nội bộ, hợp đồng hay dữ liệu khách hàng không đi đâu cả. Muốn thử mô hình khác chỉ cần đổi tên trong lệnh, ví dụ ollama run qwen3, không phải cài lại gì.
Khi đã quen, bạn sẽ ít khi gõ lệnh trực tiếp nữa mà để Ollama chạy nền làm động cơ cho các ứng dụng khác: Open WebUI cho giao diện chat đẹp, công cụ lập trình như Claude Code hay Codex qua lệnh ollama launch, hoặc kịch bản tự động hoá gọi API ở địa chỉ http://localhost:11434.
Tính năng nổi bật
Một lệnh là có AI chạy offline
Gõ ollama run kèm tên mô hình, Ollama tự tải, tự chọn bản nén vừa với RAM và card đồ hoạ của bạn rồi mở khung chat.
Thư viện mô hình phong phú
Hàng trăm mô hình mở như Gemma, Qwen, DeepSeek, Llama, gpt-oss, Mistral, cả mô hình đọc được ảnh, đều liệt kê ở trang ollama.com/library.
API dùng chung cho mọi ứng dụng
Ollama mở sẵn một API ở cổng 11434, nhiều phần mềm (Open WebUI, AnythingLLM, n8n, Continue, Cline...) chỉ cần chọn Ollama là kết nối được.
Nối nhanh với công cụ lập trình AI
Lệnh ollama launch khởi động Claude Code, Codex, OpenCode hay Copilot CLI dùng mô hình của Ollama mà không phải chỉnh cấu hình bằng tay.
Tận dụng card đồ hoạ và chip Apple
Tự nhận GPU NVIDIA, AMD và chip M của Mac để chạy nhanh hơn; không có GPU vẫn chạy bằng CPU, chỉ chậm hơn.
Tuỳ biến bằng Modelfile
Bạn có thể tạo một trợ lý riêng với lời dặn cố định (system prompt) và thông số riêng, đặt tên rồi gọi như một mô hình bình thường.
Tận dụng Ollama vào việc gì?
Dân văn phòng, kế toán, nhân sự
Tóm tắt, viết lại tài liệu nội bộ mà không lo lộ dữ liệu
Dán nội dung biên bản họp, quy trình hay email dài vào và nhờ tóm tắt, viết lại cho lịch sự. Mọi thứ xử lý trên máy nên phù hợp với tài liệu không được phép đưa lên dịch vụ AI online.
Chủ doanh nghiệp nhỏ, IT nội bộ
Làm động cơ cho giao diện chat riêng của công ty
Cài Ollama trên một máy có card đồ hoạ, rồi cài Open WebUI kết nối vào để cả phòng dùng chung một trang chat AI nội bộ, không tốn phí theo đầu người.
Sinh viên, người mới học lập trình
Học và thử nghiệm AI mà không tốn tiền API
Gọi API của Ollama từ Python hoặc JavaScript để làm chatbot, phân loại bình luận, trích thông tin từ văn bản... thử sai thoải mái vì không bị tính phí theo token.
Lập trình viên
Trợ lý viết code chạy offline
Dùng ollama launch để chạy Claude Code, Codex hoặc OpenCode với mô hình mở, hoặc nối Continue, Cline trong VS Code vào Ollama khi làm dự án cần giữ mã nguồn kín.
Người làm marketing, vận hành
Tự động hoá với n8n, Dify
Trong n8n hay Dify chọn node Ollama để AI tự phân loại đơn hàng, viết mô tả sản phẩm hàng loạt hoặc trả lời tin nhắn mẫu mà không phát sinh chi phí.
Cần chuẩn bị gì?
- Windows 10/11, macOS 14 trở lên hoặc Linux 64-bit.
- RAM: tối thiểu 8 GB cho mô hình nhỏ (khoảng 3–4 tỷ tham số), 16 GB trở lên để chạy thoải mái mô hình 7–8 tỷ tham số.
- Không bắt buộc card đồ hoạ; có GPU NVIDIA/AMD hoặc Mac chip M thì nhanh hơn nhiều.
- Ổ cứng trống vài GB cho mỗi mô hình (mô hình nhỏ khoảng 2–5 GB, mô hình lớn có thể vài chục GB).
Hướng dẫn cài đặt chi tiết
Cài trên Windows
Cách dễ nhất: tải file cài OllamaSetup.exe ở trang chính thức, bấm đúp để cài như phần mềm thường. Sau khi cài, biểu tượng Ollama xuất hiện ở khay hệ thống góc phải màn hình.
https://ollama.com/download/OllamaSetup.exeCách nhanh hơn: mở PowerShell và cài bằng winget (trình quản lý ứng dụng có sẵn trên Windows 10/11).
winget install --id Ollama.Ollama -eHoặc cài bằng một lệnh: mở PowerShell (bấm Start, gõ PowerShell) và dán lệnh sau.
irm https://ollama.com/install.ps1 | iexKiểm tra đã cài thành công: đóng rồi mở lại PowerShell, gõ lệnh dưới. Nếu hiện số phiên bản là xong.
ollama --version
Cài trên macOS
Tải file Ollama.dmg, mở ra và kéo Ollama vào thư mục Applications, rồi mở ứng dụng một lần để nó cài lệnh
ollama.https://ollama.com/download/Ollama.dmgCách nhanh hơn: nếu đã có Homebrew, mở Terminal và cài bằng một lệnh.
brew install --cask ollama-appHoặc mở Terminal (Command + Space, gõ Terminal) và chạy lệnh cài chính thức.
curl -fsSL https://ollama.com/install.sh | shKiểm tra lại bằng lệnh dưới.
ollama --version
Cài trên Linux
Chạy script cài chính thức. Script tự cài Ollama thành dịch vụ chạy nền và nhận card NVIDIA/AMD nếu đã có driver.
curl -fsSL https://ollama.com/install.sh | shKiểm tra dịch vụ đang chạy.
systemctl status ollamaNếu máy chủ không cho chạy script, xem hướng dẫn cài thủ công tại docs.ollama.com/linux.
Cài trên Docker
Chạy bằng image chính thức
ollama/ollama. Lệnh dưới lưu mô hình vào volume tên ollama và mở cổng 11434 (chỉ dùng CPU).docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamaMáy có GPU NVIDIA và đã cài NVIDIA Container Toolkit thì thêm
--gpus=allđể dùng card đồ hoạ.docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamaChat thử với một mô hình ngay trong container.
docker exec -it ollama ollama run gemma4
Dùng thử lần đầu
Mở Terminal hoặc PowerShell và chạy mô hình Gemma 4. Lần đầu sẽ tải mô hình về, chờ thanh tiến trình chạy hết.
ollama run gemma4Khi thấy dấu nhắc
>>>, gõ thử một câu tiếng Việt, ví dụ: Viết giúp tôi email xin nghỉ phép 2 ngày, giọng lịch sự. Gõ/byeđể thoát.Xem các mô hình đã tải về máy và dung lượng của chúng.
ollama listGọi thử API giống như các ứng dụng khác sẽ làm (trên Windows dùng
curl.exetrong PowerShell).curl http://localhost:11434/api/chat -d '{"model": "gemma4", "messages": [{"role": "user", "content": "Xin chào"}], "stream": false}'Xoá mô hình không dùng nữa để giải phóng ổ cứng.
ollama rm gemma4
Mẹo dùng hay
- Máy yếu thì chọn mô hình nhỏ: trên trang ollama.com/library, mỗi mô hình có nhiều kích cỡ, ví dụ
qwen3:4bnhẹ hơn hẳnqwen3:32b. Mô hình vượt quá RAM sẽ chạy rất chậm. - Muốn có giao diện chat như ChatGPT, cài thêm Open WebUI hoặc Jan rồi chọn Ollama làm nguồn mô hình, không cần gõ lệnh nữa.
- Muốn máy khác trong mạng LAN dùng chung Ollama, đặt biến môi trường
OLLAMA_HOST=0.0.0.0rồi khởi động lại Ollama, và nhớ chỉ mở trong mạng nội bộ tin cậy. - Đổi nơi lưu mô hình sang ổ khác bằng biến môi trường
OLLAMA_MODELSnếu ổ C đầy.
Lưu ý và hạn chế
- Mô hình chạy trên máy thường kém hơn ChatGPT hay Claude bản mới nhất ở các bài khó; hợp với việc tóm tắt, viết lại, hỏi đáp tài liệu hơn là suy luận phức tạp.
- Chất lượng tiếng Việt phụ thuộc mô hình: Qwen, Gemma và các mô hình lớn trả lời tiếng Việt tốt hơn mô hình nhỏ.
- Mỗi mô hình chiếm vài GB đến vài chục GB ổ cứng và ngốn RAM khi chạy, nên tắt bớt ứng dụng nặng khi dùng.
Câu hỏi thường gặp
Ollama có miễn phí không, có cần tài khoản không?
Miễn phí, mã nguồn mở giấy phép MIT và không cần tài khoản để chạy mô hình trên máy. Ollama có thêm dịch vụ cloud tuỳ chọn, nhưng không bắt buộc.
Máy không có card đồ hoạ rời có chạy được không?
Được. Ollama sẽ chạy bằng CPU, chỉ chậm hơn. Với laptop văn phòng 8–16 GB RAM, hãy chọn mô hình khoảng 1–4 tỷ tham số để có tốc độ dễ chịu.
Dữ liệu tôi chat có bị gửi đi đâu không?
Khi dùng mô hình chạy trên máy, nội dung chat được xử lý ngay trên máy bạn. Chỉ có bước tải mô hình là cần Internet.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/ollama/ollama.gitRepo tương tự nên xem
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac
Open WebUI
open-webui / open-webui
Giao diện chat AI kiểu ChatGPT tự cài trên máy của bạn, nối được với Ollama và các API AI khác
Jan
janhq / jan
Ứng dụng thay thế ChatGPT mã nguồn mở, chạy mô hình AI ngay trên máy tính của bạn