Trải nghiệm khi dùng llamafile
Hãy hình dung bạn tải về một file giống như một phần mềm portable (chạy thẳng không cần cài). Trên macOS hoặc Linux, bạn cấp quyền thực thi cho file rồi chạy; trên Windows, bạn đổi tên thêm đuôi .exe rồi chạy. Không phải cài Python, không phải dựng môi trường, không phải tải riêng mô hình, vì mô hình đã nằm sẵn trong file.
Điều này hợp với người muốn thử AI chạy trên máy mà ngại các bước cài đặt rườm rà. Bạn có thể copy file vào USB, gửi cho đồng nghiệp hoặc để trên máy chủ nội bộ, và người nhận chỉ cần chạy đúng file đó. Tài liệu dự án cũng hướng dẫn cách tự đóng gói một mô hình của bạn thành llamafile.
Cần lưu ý đây vẫn là công cụ chạy từ dòng lệnh, không phải ứng dụng có giao diện bóng bẩy. Hạn chế đáng nhớ nhất là trên Windows chỉ chạy được file thực thi dưới 4 GB, nên với mô hình lớn bạn phải dùng cách tải riêng file llamafile rồi trỏ tới file mô hình GGUF bên ngoài.
Tính năng nổi bật
Một file là đủ
Mô hình và phần mềm chạy được đóng chung, nên bạn không cần cài đặt hay tải thêm thành phần nào khác.
Chạy trên nhiều hệ điều hành
Cùng một cách đóng gói chạy được trên Windows, macOS, Linux và nhiều loại chip, theo tài liệu của dự án.
Nền tảng llama.cpp quen thuộc
Bên dưới là llama.cpp nên hưởng được các cải tiến về tốc độ và định dạng mô hình GGUF phổ biến.
Có whisperfile cho giọng nói
Công cụ chép lời và dịch file âm thanh, dựng trên whisper.cpp, cũng đóng gói thành một file chạy ngay.
Tự đóng gói llamafile của riêng bạn
Có hướng dẫn tạo llamafile từ mô hình khác, tiện khi muốn chia sẻ một trợ lý AI đã chọn sẵn cho người khác dùng.
Dùng mô hình bên ngoài
Có thể tải riêng file llamafile chạy chương trình rồi nạp mô hình GGUF ngoài, cách này vượt được giới hạn 4 GB trên Windows.
Tận dụng llamafile vào việc gì?
Dân văn phòng, IT nội bộ
Thử AI offline trên máy công ty
Máy bị khoá không cho cài phần mềm lạ vẫn có thể thử chạy một file portable để xem AI offline hữu ích tới đâu, miễn là chính sách công ty cho phép chạy file này.
Người dùng gia đình
Chia sẻ một trợ lý AI nhỏ cho người thân
Đóng sẵn một mô hình nhỏ vào một file rồi gửi qua USB hoặc ổ chung. Người nhận chỉ cần chạy, không phải học cách cài.
Giảng viên, người làm đào tạo
Demo AI không cần mạng
Mang một file đến lớp hoặc buổi workshop để trình diễn AI chạy cục bộ, kể cả nơi Wi-Fi yếu.
Người làm podcast, sinh viên
Chép lời file ghi âm bằng whisperfile
Dùng whisperfile để chuyển file ghi âm buổi họp hoặc bài giảng thành văn bản, rồi dùng mô hình chat để tóm tắt.
Lập trình viên
Nhúng AI cục bộ vào ứng dụng của bạn
Chạy llamafile như một máy chủ cục bộ cho ứng dụng tự viết gọi tới, thay vì dựng cả hệ thống phức tạp.
Cần chuẩn bị gì?
- Windows, macOS hoặc Linux; xem trang Supported Systems trong tài liệu để biết chip và hệ điều hành cụ thể.
- Dung lượng ổ cứng đủ chứa file mô hình; mô hình mẫu trong README là loại nhỏ nhất mà dự án đã đóng gói.
- Trên Windows, file llamafile lớn hơn 4 GB không chạy được, phải dùng cách nạp mô hình GGUF bên ngoài.
- Cần biết mở Terminal hoặc PowerShell và chạy vài lệnh đơn giản.
Hướng dẫn cài đặt chi tiết
Cài trên macOS / Linux
Mở Terminal và tải thử mô hình mẫu nhỏ nhất mà README gợi ý (Qwen3.5 0.8B). File này thuộc loại llamafile 0.10 và là lựa chọn dễ chạy nhất.
curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafileCấp quyền cho file được phép chạy.
chmod +x Qwen3.5-0.8B-Q8_0.llamafileChạy file. Làm theo thông báo hiện trong Terminal để mở giao diện hoặc địa chỉ cục bộ mà nó cung cấp.
./Qwen3.5-0.8B-Q8_0.llamafile
Cài trên Windows
Tải file mẫu về. Windows 10 trở lên có sẵn lệnh
curl.exe, bạn có thể chạy trong PowerShell. Cũng có thể mở link tải bằng trình duyệt.curl.exe -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafileĐổi tên file để có đuôi .exe, đây là yêu cầu của README cho Windows.
Rename-Item Qwen3.5-0.8B-Q8_0.llamafile Qwen3.5-0.8B-Q8_0.llamafile.exeChạy file vừa đổi tên. Nhớ rằng chỉ file dưới 4 GB mới chạy được kiểu này trên Windows.
.\Qwen3.5-0.8B-Q8_0.llamafile.exeMuốn dùng mô hình lớn hơn 4 GB: tải riêng file chương trình llamafile ở trang Releases của dự án, rồi nạp file mô hình GGUF bên ngoài theo mục Quickstart trong tài liệu.
Dùng thử lần đầu
Chạy file llamafile như hướng dẫn ở trên và chờ nó nạp mô hình vào bộ nhớ. Mô hình càng lớn thì càng chờ lâu.
Làm theo thông báo trong Terminal để mở giao diện chat hoặc địa chỉ cục bộ do llamafile cung cấp, rồi gõ một câu hỏi tiếng Việt ngắn để xem phản hồi.
Mô hình 0.8 tỷ tham số rất nhỏ, nên hãy đặt câu hỏi đơn giản như viết lại một câu cho lịch sự hơn hoặc tóm tắt đoạn văn ngắn, đừng kỳ vọng suy luận sâu.
Khi đã chạy được, vào trang Pre-built llamafiles trong tài liệu để chọn mô hình lớn hơn nếu máy mạnh, hoặc xem phần Whisperfile để thử chép lời âm thanh.
Mẹo dùng hay
- Bắt đầu với mô hình nhỏ nhất rồi mới nâng lên, để biết máy mình chịu được đến đâu trước khi tải file nhiều GB.
- Mỗi file llamafile ghi rõ nó đóng gói theo phiên bản 0.9 hay 0.10 của llamafile, nên đọc mô tả trên trang tải để biết bạn đang dùng bản nào.
- Nếu quen với kiểu cũ của llamafile, bạn vẫn tải được các bản trước 0.10 ở trang Releases, vì bản 0.10 dùng hệ thống build mới và có thể thiếu một số tính năng quen thuộc.
Lưu ý và hạn chế
- Giới hạn 4 GB trên Windows khiến nhiều mô hình mạnh không thể đóng gói thành một file chạy trực tiếp trên hệ điều hành này.
- Giấy phép dự án là Apache 2.0, còn phần llama.cpp và whisper.cpp chỉnh sửa theo MIT. Mô hình bên trong mỗi file lại có giấy phép riêng, hãy xem trước khi dùng thương mại.
- Mô hình nhỏ trả lời tiếng Việt còn hạn chế, không nên dùng để ra quyết định quan trọng mà không kiểm tra lại.
Câu hỏi thường gặp
llamafile có miễn phí không?
Có. Dự án mã nguồn mở, bạn chỉ tốn dung lượng ổ cứng và điện của máy. Mỗi mô hình đóng gói bên trong có giấy phép riêng nên cần đọc kỹ nếu dùng cho kinh doanh.
Máy yếu có chạy được không?
Có thể chạy được mô hình nhỏ như bản 0.8 tỷ tham số mà README dùng làm ví dụ. Mô hình càng lớn thì càng cần nhiều RAM và chạy càng chậm.
Khác gì Ollama?
Ollama có trình quản lý mô hình và dịch vụ chạy nền. llamafile thì đơn giản hơn ở chỗ mọi thứ nằm trong một file mang đi đâu cũng chạy, nhưng ít tiện ích quản lý hơn.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/mozilla-ai/llamafile.gitRepo tương tự nên xem
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac
KoboldCpp
LostRuins / koboldcpp
Một file .exe chạy mô hình AI GGUF với giao diện web có sẵn, mạnh về viết truyện và nhập vai