Chuyển đến nội dung

mozilla-ai / llamafile

llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

llamafile là dự án của Mozilla.ai giúp phân phối và chạy mô hình ngôn ngữ lớn (LLM, loại AI giống ChatGPT) chỉ bằng một file thực thi duy nhất. Nó kết hợp llama.cpp với Cosmopolitan Libc để cùng một file chạy được trên nhiều hệ điều hành và loại chip mà không phải cài gì thêm. Đi kèm còn có whisperfile, công cụ chuyển giọng nói thành văn bản theo cùng kiểu đóng gói.

  • 26.651 sao
  • 1.682 fork
  • C++
  • Cập nhật 7 ngày trước
  • Giấy phép riêng, xem trên GitHub
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Dòng lệnh (CLI), Mô hình AI
Chạy trên
Windows, macOS, Linux
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng llamafile

Hãy hình dung bạn tải về một file giống như một phần mềm portable (chạy thẳng không cần cài). Trên macOS hoặc Linux, bạn cấp quyền thực thi cho file rồi chạy; trên Windows, bạn đổi tên thêm đuôi .exe rồi chạy. Không phải cài Python, không phải dựng môi trường, không phải tải riêng mô hình, vì mô hình đã nằm sẵn trong file.

Điều này hợp với người muốn thử AI chạy trên máy mà ngại các bước cài đặt rườm rà. Bạn có thể copy file vào USB, gửi cho đồng nghiệp hoặc để trên máy chủ nội bộ, và người nhận chỉ cần chạy đúng file đó. Tài liệu dự án cũng hướng dẫn cách tự đóng gói một mô hình của bạn thành llamafile.

Cần lưu ý đây vẫn là công cụ chạy từ dòng lệnh, không phải ứng dụng có giao diện bóng bẩy. Hạn chế đáng nhớ nhất là trên Windows chỉ chạy được file thực thi dưới 4 GB, nên với mô hình lớn bạn phải dùng cách tải riêng file llamafile rồi trỏ tới file mô hình GGUF bên ngoài.

Tính năng nổi bật

Một file là đủ

Mô hình và phần mềm chạy được đóng chung, nên bạn không cần cài đặt hay tải thêm thành phần nào khác.

Chạy trên nhiều hệ điều hành

Cùng một cách đóng gói chạy được trên Windows, macOS, Linux và nhiều loại chip, theo tài liệu của dự án.

Nền tảng llama.cpp quen thuộc

Bên dưới là llama.cpp nên hưởng được các cải tiến về tốc độ và định dạng mô hình GGUF phổ biến.

Có whisperfile cho giọng nói

Công cụ chép lời và dịch file âm thanh, dựng trên whisper.cpp, cũng đóng gói thành một file chạy ngay.

Tự đóng gói llamafile của riêng bạn

Có hướng dẫn tạo llamafile từ mô hình khác, tiện khi muốn chia sẻ một trợ lý AI đã chọn sẵn cho người khác dùng.

Dùng mô hình bên ngoài

Có thể tải riêng file llamafile chạy chương trình rồi nạp mô hình GGUF ngoài, cách này vượt được giới hạn 4 GB trên Windows.

Tận dụng llamafile vào việc gì?

Dân văn phòng, IT nội bộ

Thử AI offline trên máy công ty

Máy bị khoá không cho cài phần mềm lạ vẫn có thể thử chạy một file portable để xem AI offline hữu ích tới đâu, miễn là chính sách công ty cho phép chạy file này.

Người dùng gia đình

Chia sẻ một trợ lý AI nhỏ cho người thân

Đóng sẵn một mô hình nhỏ vào một file rồi gửi qua USB hoặc ổ chung. Người nhận chỉ cần chạy, không phải học cách cài.

Giảng viên, người làm đào tạo

Demo AI không cần mạng

Mang một file đến lớp hoặc buổi workshop để trình diễn AI chạy cục bộ, kể cả nơi Wi-Fi yếu.

Người làm podcast, sinh viên

Chép lời file ghi âm bằng whisperfile

Dùng whisperfile để chuyển file ghi âm buổi họp hoặc bài giảng thành văn bản, rồi dùng mô hình chat để tóm tắt.

Lập trình viên

Nhúng AI cục bộ vào ứng dụng của bạn

Chạy llamafile như một máy chủ cục bộ cho ứng dụng tự viết gọi tới, thay vì dựng cả hệ thống phức tạp.

Cần chuẩn bị gì?

  • Windows, macOS hoặc Linux; xem trang Supported Systems trong tài liệu để biết chip và hệ điều hành cụ thể.
  • Dung lượng ổ cứng đủ chứa file mô hình; mô hình mẫu trong README là loại nhỏ nhất mà dự án đã đóng gói.
  • Trên Windows, file llamafile lớn hơn 4 GB không chạy được, phải dùng cách nạp mô hình GGUF bên ngoài.
  • Cần biết mở Terminal hoặc PowerShell và chạy vài lệnh đơn giản.

Hướng dẫn cài đặt chi tiết

Cài trên macOS / Linux

  1. Mở Terminal và tải thử mô hình mẫu nhỏ nhất mà README gợi ý (Qwen3.5 0.8B). File này thuộc loại llamafile 0.10 và là lựa chọn dễ chạy nhất.

    Terminal
    curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile
  2. Cấp quyền cho file được phép chạy.

    Terminal
    chmod +x Qwen3.5-0.8B-Q8_0.llamafile
  3. Chạy file. Làm theo thông báo hiện trong Terminal để mở giao diện hoặc địa chỉ cục bộ mà nó cung cấp.

    Terminal
    ./Qwen3.5-0.8B-Q8_0.llamafile

Cài trên Windows

  1. Tải file mẫu về. Windows 10 trở lên có sẵn lệnh curl.exe, bạn có thể chạy trong PowerShell. Cũng có thể mở link tải bằng trình duyệt.

    PowerShell
    curl.exe -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile
  2. Đổi tên file để có đuôi .exe, đây là yêu cầu của README cho Windows.

    PowerShell
    Rename-Item Qwen3.5-0.8B-Q8_0.llamafile Qwen3.5-0.8B-Q8_0.llamafile.exe
  3. Chạy file vừa đổi tên. Nhớ rằng chỉ file dưới 4 GB mới chạy được kiểu này trên Windows.

    PowerShell
    .\Qwen3.5-0.8B-Q8_0.llamafile.exe
  4. Muốn dùng mô hình lớn hơn 4 GB: tải riêng file chương trình llamafile ở trang Releases của dự án, rồi nạp file mô hình GGUF bên ngoài theo mục Quickstart trong tài liệu.

Dùng thử lần đầu

  1. Chạy file llamafile như hướng dẫn ở trên và chờ nó nạp mô hình vào bộ nhớ. Mô hình càng lớn thì càng chờ lâu.

  2. Làm theo thông báo trong Terminal để mở giao diện chat hoặc địa chỉ cục bộ do llamafile cung cấp, rồi gõ một câu hỏi tiếng Việt ngắn để xem phản hồi.

  3. Mô hình 0.8 tỷ tham số rất nhỏ, nên hãy đặt câu hỏi đơn giản như viết lại một câu cho lịch sự hơn hoặc tóm tắt đoạn văn ngắn, đừng kỳ vọng suy luận sâu.

  4. Khi đã chạy được, vào trang Pre-built llamafiles trong tài liệu để chọn mô hình lớn hơn nếu máy mạnh, hoặc xem phần Whisperfile để thử chép lời âm thanh.

Mẹo dùng hay

  • Bắt đầu với mô hình nhỏ nhất rồi mới nâng lên, để biết máy mình chịu được đến đâu trước khi tải file nhiều GB.
  • Mỗi file llamafile ghi rõ nó đóng gói theo phiên bản 0.9 hay 0.10 của llamafile, nên đọc mô tả trên trang tải để biết bạn đang dùng bản nào.
  • Nếu quen với kiểu cũ của llamafile, bạn vẫn tải được các bản trước 0.10 ở trang Releases, vì bản 0.10 dùng hệ thống build mới và có thể thiếu một số tính năng quen thuộc.

Lưu ý và hạn chế

  • Giới hạn 4 GB trên Windows khiến nhiều mô hình mạnh không thể đóng gói thành một file chạy trực tiếp trên hệ điều hành này.
  • Giấy phép dự án là Apache 2.0, còn phần llama.cpp và whisper.cpp chỉnh sửa theo MIT. Mô hình bên trong mỗi file lại có giấy phép riêng, hãy xem trước khi dùng thương mại.
  • Mô hình nhỏ trả lời tiếng Việt còn hạn chế, không nên dùng để ra quyết định quan trọng mà không kiểm tra lại.

Câu hỏi thường gặp

llamafile có miễn phí không?

Có. Dự án mã nguồn mở, bạn chỉ tốn dung lượng ổ cứng và điện của máy. Mỗi mô hình đóng gói bên trong có giấy phép riêng nên cần đọc kỹ nếu dùng cho kinh doanh.

Máy yếu có chạy được không?

Có thể chạy được mô hình nhỏ như bản 0.8 tỷ tham số mà README dùng làm ví dụ. Mô hình càng lớn thì càng cần nhiều RAM và chạy càng chậm.

Khác gì Ollama?

Ollama có trình quản lý mô hình và dịch vụ chạy nền. llamafile thì đơn giản hơn ở chỗ mọi thứ nằm trong một file mang đi đâu cũng chạy, nhưng ít tiện ích quản lý hơn.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/mozilla-ai/llamafile.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân12,3K

KoboldCpp

LostRuins / koboldcpp

Một file .exe chạy mô hình AI GGUF với giao diện web có sẵn, mạnh về viết truyện và nhập vai

DễWindowsmacOSLinuxDocker

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân25,3K

Google AI Edge Gallery

google-ai-edge / gallery

Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư

DễAndroidiOSmacOS

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo