Chuyển đến nội dung

ollama / ollama

Ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

Ollama là phần mềm giúp bạn chạy các mô hình ngôn ngữ mã nguồn mở (loại AI giống ChatGPT) trực tiếp trên laptop hoặc PC, không cần gửi dữ liệu lên mạng. Nó lo hết phần khó: tải mô hình, chọn bản vừa sức máy, tận dụng card đồ hoạ, rồi mở sẵn một cổng API để các ứng dụng khác như Open WebUI, Claude Code hay n8n dùng chung.

  • 187.105 sao
  • 19.109 fork
  • Go
  • Cập nhật hôm qua
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Dễ Cài như phần mềm thường
Dạng
Ứng dụng máy tính, Dòng lệnh (CLI)
Chạy trên
Windows, macOS, Linux, Docker
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng Ollama

Bạn cài Ollama như một phần mềm bình thường, sau đó mở Terminal (cửa sổ gõ lệnh) và gõ ollama run gemma4. Lần đầu nó tải mô hình về, mất vài phút tuỳ mạng; những lần sau bật lên gần như ngay lập tức. Khi thấy dấu nhắc, bạn cứ gõ câu hỏi bằng tiếng Việt như đang chat với ChatGPT, chữ chạy ra từng dòng ngay trên máy mình.

Điểm khiến nhiều người mê Ollama là cảm giác yên tâm: rút dây mạng ra vẫn chat được, tài liệu nội bộ, hợp đồng hay dữ liệu khách hàng không đi đâu cả. Muốn thử mô hình khác chỉ cần đổi tên trong lệnh, ví dụ ollama run qwen3, không phải cài lại gì.

Khi đã quen, bạn sẽ ít khi gõ lệnh trực tiếp nữa mà để Ollama chạy nền làm động cơ cho các ứng dụng khác: Open WebUI cho giao diện chat đẹp, công cụ lập trình như Claude Code hay Codex qua lệnh ollama launch, hoặc kịch bản tự động hoá gọi API ở địa chỉ http://localhost:11434.

Tính năng nổi bật

Một lệnh là có AI chạy offline

Gõ ollama run kèm tên mô hình, Ollama tự tải, tự chọn bản nén vừa với RAM và card đồ hoạ của bạn rồi mở khung chat.

Thư viện mô hình phong phú

Hàng trăm mô hình mở như Gemma, Qwen, DeepSeek, Llama, gpt-oss, Mistral, cả mô hình đọc được ảnh, đều liệt kê ở trang ollama.com/library.

API dùng chung cho mọi ứng dụng

Ollama mở sẵn một API ở cổng 11434, nhiều phần mềm (Open WebUI, AnythingLLM, n8n, Continue, Cline...) chỉ cần chọn Ollama là kết nối được.

Nối nhanh với công cụ lập trình AI

Lệnh ollama launch khởi động Claude Code, Codex, OpenCode hay Copilot CLI dùng mô hình của Ollama mà không phải chỉnh cấu hình bằng tay.

Tận dụng card đồ hoạ và chip Apple

Tự nhận GPU NVIDIA, AMD và chip M của Mac để chạy nhanh hơn; không có GPU vẫn chạy bằng CPU, chỉ chậm hơn.

Tuỳ biến bằng Modelfile

Bạn có thể tạo một trợ lý riêng với lời dặn cố định (system prompt) và thông số riêng, đặt tên rồi gọi như một mô hình bình thường.

Tận dụng Ollama vào việc gì?

Dân văn phòng, kế toán, nhân sự

Tóm tắt, viết lại tài liệu nội bộ mà không lo lộ dữ liệu

Dán nội dung biên bản họp, quy trình hay email dài vào và nhờ tóm tắt, viết lại cho lịch sự. Mọi thứ xử lý trên máy nên phù hợp với tài liệu không được phép đưa lên dịch vụ AI online.

Chủ doanh nghiệp nhỏ, IT nội bộ

Làm động cơ cho giao diện chat riêng của công ty

Cài Ollama trên một máy có card đồ hoạ, rồi cài Open WebUI kết nối vào để cả phòng dùng chung một trang chat AI nội bộ, không tốn phí theo đầu người.

Sinh viên, người mới học lập trình

Học và thử nghiệm AI mà không tốn tiền API

Gọi API của Ollama từ Python hoặc JavaScript để làm chatbot, phân loại bình luận, trích thông tin từ văn bản... thử sai thoải mái vì không bị tính phí theo token.

Lập trình viên

Trợ lý viết code chạy offline

Dùng ollama launch để chạy Claude Code, Codex hoặc OpenCode với mô hình mở, hoặc nối Continue, Cline trong VS Code vào Ollama khi làm dự án cần giữ mã nguồn kín.

Người làm marketing, vận hành

Tự động hoá với n8n, Dify

Trong n8n hay Dify chọn node Ollama để AI tự phân loại đơn hàng, viết mô tả sản phẩm hàng loạt hoặc trả lời tin nhắn mẫu mà không phát sinh chi phí.

Cần chuẩn bị gì?

  • Windows 10/11, macOS 14 trở lên hoặc Linux 64-bit.
  • RAM: tối thiểu 8 GB cho mô hình nhỏ (khoảng 3–4 tỷ tham số), 16 GB trở lên để chạy thoải mái mô hình 7–8 tỷ tham số.
  • Không bắt buộc card đồ hoạ; có GPU NVIDIA/AMD hoặc Mac chip M thì nhanh hơn nhiều.
  • Ổ cứng trống vài GB cho mỗi mô hình (mô hình nhỏ khoảng 2–5 GB, mô hình lớn có thể vài chục GB).

Hướng dẫn cài đặt chi tiết

Cài trên Windows

  1. Cách dễ nhất: tải file cài OllamaSetup.exe ở trang chính thức, bấm đúp để cài như phần mềm thường. Sau khi cài, biểu tượng Ollama xuất hiện ở khay hệ thống góc phải màn hình.

    Văn bản
    https://ollama.com/download/OllamaSetup.exe
  2. Cách nhanh hơn: mở PowerShell và cài bằng winget (trình quản lý ứng dụng có sẵn trên Windows 10/11).

    PowerShell
    winget install --id Ollama.Ollama -e
  3. Hoặc cài bằng một lệnh: mở PowerShell (bấm Start, gõ PowerShell) và dán lệnh sau.

    PowerShell
    irm https://ollama.com/install.ps1 | iex
  4. Kiểm tra đã cài thành công: đóng rồi mở lại PowerShell, gõ lệnh dưới. Nếu hiện số phiên bản là xong.

    PowerShell
    ollama --version

Cài trên macOS

  1. Tải file Ollama.dmg, mở ra và kéo Ollama vào thư mục Applications, rồi mở ứng dụng một lần để nó cài lệnh ollama.

    Văn bản
    https://ollama.com/download/Ollama.dmg
  2. Cách nhanh hơn: nếu đã có Homebrew, mở Terminal và cài bằng một lệnh.

    Terminal
    brew install --cask ollama-app
  3. Hoặc mở Terminal (Command + Space, gõ Terminal) và chạy lệnh cài chính thức.

    Terminal
    curl -fsSL https://ollama.com/install.sh | sh
  4. Kiểm tra lại bằng lệnh dưới.

    Terminal
    ollama --version

Cài trên Linux

  1. Chạy script cài chính thức. Script tự cài Ollama thành dịch vụ chạy nền và nhận card NVIDIA/AMD nếu đã có driver.

    Terminal
    curl -fsSL https://ollama.com/install.sh | sh
  2. Kiểm tra dịch vụ đang chạy.

    Terminal
    systemctl status ollama
  3. Nếu máy chủ không cho chạy script, xem hướng dẫn cài thủ công tại docs.ollama.com/linux.

Cài trên Docker

  1. Chạy bằng image chính thức ollama/ollama. Lệnh dưới lưu mô hình vào volume tên ollama và mở cổng 11434 (chỉ dùng CPU).

    Terminal
    docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  2. Máy có GPU NVIDIA và đã cài NVIDIA Container Toolkit thì thêm --gpus=all để dùng card đồ hoạ.

    Terminal
    docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  3. Chat thử với một mô hình ngay trong container.

    Terminal
    docker exec -it ollama ollama run gemma4

Dùng thử lần đầu

  1. Mở Terminal hoặc PowerShell và chạy mô hình Gemma 4. Lần đầu sẽ tải mô hình về, chờ thanh tiến trình chạy hết.

    Terminal
    ollama run gemma4
  2. Khi thấy dấu nhắc >>>, gõ thử một câu tiếng Việt, ví dụ: Viết giúp tôi email xin nghỉ phép 2 ngày, giọng lịch sự. Gõ /bye để thoát.

  3. Xem các mô hình đã tải về máy và dung lượng của chúng.

    Terminal
    ollama list
  4. Gọi thử API giống như các ứng dụng khác sẽ làm (trên Windows dùng curl.exe trong PowerShell).

    Terminal
    curl http://localhost:11434/api/chat -d '{"model": "gemma4", "messages": [{"role": "user", "content": "Xin chào"}], "stream": false}'
  5. Xoá mô hình không dùng nữa để giải phóng ổ cứng.

    Terminal
    ollama rm gemma4

Mẹo dùng hay

  • Máy yếu thì chọn mô hình nhỏ: trên trang ollama.com/library, mỗi mô hình có nhiều kích cỡ, ví dụ qwen3:4b nhẹ hơn hẳn qwen3:32b. Mô hình vượt quá RAM sẽ chạy rất chậm.
  • Muốn có giao diện chat như ChatGPT, cài thêm Open WebUI hoặc Jan rồi chọn Ollama làm nguồn mô hình, không cần gõ lệnh nữa.
  • Muốn máy khác trong mạng LAN dùng chung Ollama, đặt biến môi trường OLLAMA_HOST=0.0.0.0 rồi khởi động lại Ollama, và nhớ chỉ mở trong mạng nội bộ tin cậy.
  • Đổi nơi lưu mô hình sang ổ khác bằng biến môi trường OLLAMA_MODELS nếu ổ C đầy.

Lưu ý và hạn chế

  • Mô hình chạy trên máy thường kém hơn ChatGPT hay Claude bản mới nhất ở các bài khó; hợp với việc tóm tắt, viết lại, hỏi đáp tài liệu hơn là suy luận phức tạp.
  • Chất lượng tiếng Việt phụ thuộc mô hình: Qwen, Gemma và các mô hình lớn trả lời tiếng Việt tốt hơn mô hình nhỏ.
  • Mỗi mô hình chiếm vài GB đến vài chục GB ổ cứng và ngốn RAM khi chạy, nên tắt bớt ứng dụng nặng khi dùng.

Câu hỏi thường gặp

Ollama có miễn phí không, có cần tài khoản không?

Miễn phí, mã nguồn mở giấy phép MIT và không cần tài khoản để chạy mô hình trên máy. Ollama có thêm dịch vụ cloud tuỳ chọn, nhưng không bắt buộc.

Máy không có card đồ hoạ rời có chạy được không?

Được. Ollama sẽ chạy bằng CPU, chỉ chậm hơn. Với laptop văn phòng 8–16 GB RAM, hãy chọn mô hình khoảng 1–4 tỷ tham số để có tốc độ dễ chịu.

Dữ liệu tôi chat có bị gửi đi đâu không?

Khi dùng mô hình chạy trên máy, nội dung chat được xử lý ngay trên máy bạn. Chỉ có bước tải mô hình là cần Internet.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/ollama/ollama.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Trợ lý & chat AI159K

Open WebUI

open-webui / open-webui

Giao diện chat AI kiểu ChatGPT tự cài trên máy của bạn, nối được với Ollama và các API AI khác

VừaDockerPythonWindowsmacOS+1
Trợ lý & chat AI45,7K

Jan

janhq / jan

Ứng dụng thay thế ChatGPT mã nguồn mở, chạy mô hình AI ngay trên máy tính của bạn

DễWindowsmacOSLinux

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo