Trải nghiệm khi dùng Unsloth
Bạn tải ứng dụng Unsloth Desktop từ trang chính thức hoặc trang Releases, cài như phần mềm bình thường rồi mở lên. Từ đó bạn chọn một mô hình để chạy ngay trên máy, chat với nó trong giao diện, hoặc mở phần huấn luyện để dạy mô hình theo dữ liệu của mình.
Điểm khiến Unsloth được nhắc nhiều là tiết kiệm tài nguyên: README nói huấn luyện nhanh gấp đôi và dùng ít VRAM (bộ nhớ card đồ hoạ) hơn khoảng 70% mà không giảm độ chính xác. Đó là số liệu do dự án công bố, nên hãy xem như tham khảo và tự kiểm tra trên máy của mình.
Ngoài chat và huấn luyện, nó còn có thể tạo bộ dữ liệu từ PDF, CSV, DOCX, xuất mô hình sang định dạng GGUF để dùng với các công cụ khác, và chạy như một máy chủ API tương thích kiểu OpenAI. Có cả lệnh nối Claude Code hoặc Codex với mô hình chạy trên máy.
Tính năng nổi bật
Ứng dụng máy tính và giao diện web
Có Unsloth Desktop cài như phần mềm thường, Unsloth Studio dạng web, và bản thư viện Python cho người viết code.
Huấn luyện tiết kiệm VRAM
Hỗ trợ LoRA, QLoRA, fine-tune đầy đủ, học tăng cường và nhiều kỹ thuật khác; dự án tuyên bố nhanh hơn 2 lần và ít VRAM hơn 70%.
Chạy mô hình ngay trên máy
Chạy nhiều loại mô hình (ngôn ngữ, ảnh, âm thanh, embedding) và có thể phục vụ qua API tương thích OpenAI cho các ứng dụng khác dùng chung.
Tạo bộ dữ liệu từ tài liệu
Tính năng Data Recipes biến PDF, CSV, DOCX thành dữ liệu để huấn luyện, đỡ phải soạn tay.
Xuất và triển khai
Xuất mô hình sang GGUF, FP8 và các định dạng khác để chạy ở nơi khác.
Chạy trên nhiều loại phần cứng
README nêu hỗ trợ NVIDIA, AMD, Intel, CPU và Vulkan, trên Windows, Linux, WSL và macOS.
Tận dụng Unsloth vào việc gì?
Chủ shop online, đội chăm sóc khách hàng
Dạy mô hình trả lời theo văn phong của shop
Chuẩn bị vài trăm cặp hỏi và đáp mẫu rồi tinh chỉnh một mô hình nhỏ để nó trả lời theo giọng thương hiệu. Cần kiểm tra kỹ trước khi dùng thật.
Sinh viên, người tự học AI
Thử huấn luyện mô hình khi chỉ có một card đồ hoạ
Thử fine-tune mô hình cỡ nhỏ trên card gia đình hoặc trên Colab, học được quy trình từ chuẩn bị dữ liệu đến xuất mô hình.
Dân văn phòng, bộ phận IT
Chạy AI nội bộ cho tài liệu nhạy cảm
Chạy mô hình trên máy rồi chat và tìm kiếm trong tài liệu mà không gửi dữ liệu ra ngoài.
Lập trình viên
Dùng trợ lý code với mô hình chạy cục bộ
Dùng lệnh unsloth start để nối Claude Code hoặc Codex vào một mô hình chạy trên máy, hợp khi làm dự án cần giữ mã nguồn kín.
Cần chuẩn bị gì?
- Windows, macOS, Linux hoặc WSL; README có bản cài cho Windows, macOS, Linux (deb, AppImage) và cả ARM64.
- Card đồ hoạ NVIDIA, AMD hoặc Intel giúp huấn luyện nhanh hơn; README cũng nói có hỗ trợ CPU, nhưng không nêu yêu cầu VRAM cụ thể, nên hãy xem tài liệu chính thức theo từng mô hình.
- Ổ cứng trống đủ chứa mô hình (vài GB đến vài chục GB tuỳ mô hình).
- Docker và NVIDIA Container Toolkit nếu chạy bằng ảnh Docker có GPU.
Hướng dẫn cài đặt chi tiết
Cài trên Windows
Cách dễ nhất: vào unsloth.ai/download hoặc trang GitHub Releases của dự án và tải bản Unsloth Desktop cho Windows. Cài như phần mềm thường.
https://unsloth.ai/downloadHoặc cài bằng winget (README liệt kê lệnh này) trong PowerShell.
winget install --id UnslothAI.Unsloth -eHoặc cài giao diện web Unsloth Studio bằng script chính thức, rồi chạy lệnh khởi động. Chỉ dán script từ nguồn bạn tin cậy; đây là lệnh trong README chính thức.
irm https://unsloth.ai/install.ps1 | iex unsloth studio
Cài trên macOS
Tải bản macOS ở unsloth.ai/download, hoặc cài bằng Homebrew.
brew install --cask unslothHoặc dùng script cài chính thức cho giao diện web rồi khởi động.
curl -fsSL https://unsloth.ai/install.sh | sh unsloth studio
Cài trên Linux / WSL
Tải gói .deb hoặc AppImage ở trang download, hoặc dùng script cài chính thức.
curl -fsSL https://unsloth.ai/install.sh | shKhởi động giao diện web, sau đó mở địa chỉ hiện trong Terminal.
unsloth studio
Cài trên Docker
Dùng ảnh unsloth/unsloth. Trên Linux hoặc WSL có card NVIDIA, README đưa lệnh sau (đã cài NVIDIA Container Toolkit trước theo hướng dẫn Docker của Unsloth).
docker run -d --name unsloth --gpus all --ipc=host \ -p 8000:8000 -p 8888:8888 \ -v "$PWD":/workspace/host \ -v unsloth-workspace:/workspace \ -v "$HOME/.cache/huggingface":/workspace/.cache/huggingface \ -v unsloth-studio:/opt/unsloth-studio \ unsloth/unsloth && docker logs -f unsloth
Dùng thử lần đầu
Mở Unsloth Desktop (hoặc chạy unsloth studio và mở địa chỉ hiện ra trong Terminal).
Chọn một mô hình nhỏ để chạy thử và chat vài câu tiếng Việt, xem tốc độ và chất lượng ra sao trên máy của bạn.
Làm theo hướng dẫn Quickstart và bộ notebook trên unsloth.ai/docs để huấn luyện một mô hình nhỏ bằng bộ dữ liệu mẫu trước khi dùng dữ liệu riêng.
Thử nối công cụ lập trình với mô hình cục bộ bằng lệnh mẫu trong README (thay tên mô hình cho phù hợp với máy bạn).
unsloth start claude --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XLKhi hài lòng, xuất mô hình ra định dạng GGUF theo tài liệu rồi dùng với công cụ khác.
Mẹo dùng hay
- Mới học thì chọn mô hình nhỏ và tập dữ liệu nhỏ để thấy cả quy trình chạy được trước khi đầu tư dữ liệu lớn.
- Nếu mở Unsloth ra mạng LAN hoặc Internet, README cảnh báo các công cụ phía máy chủ bật sẵn; hãy đặt mật khẩu mạnh hoặc dùng tuỳ chọn tắt công cụ.
- Muốn Desktop dùng cổng khác thì đặt biến môi trường UNSLOTH_DESKTOP_PORT rồi thoát hẳn và mở lại ứng dụng.
Lưu ý và hạn chế
- Giấy phép kép: lõi Unsloth theo Apache-2.0, còn một số thành phần tuỳ chọn như giao diện Studio theo AGPL-3.0; nếu dùng cho sản phẩm thương mại hãy đọc kỹ.
- Huấn luyện mô hình vẫn cần card đồ hoạ và thời gian; những con số tăng tốc là do dự án công bố, kết quả thực tế tuỳ máy và mô hình.
- Mỗi mô hình có giấy phép riêng; fine-tune mô hình có điều khoản hạn chế thì bản của bạn cũng bị hạn chế theo.
Câu hỏi thường gặp
Unsloth có miễn phí không?
Có. Mã nguồn mở và tải về dùng miễn phí; bạn chỉ tốn điện và phần cứng, hoặc tiền thuê GPU nếu chạy trên đám mây.
Cần card đồ hoạ mạnh không?
README nói hỗ trợ NVIDIA, AMD, Intel và cả CPU. Tuy vậy huấn luyện mô hình thật sự thường cần GPU; yêu cầu cụ thể phụ thuộc mô hình, xem ở tài liệu của Unsloth.
Khác gì Ollama?
Ollama tập trung chạy mô hình có sẵn. Unsloth có thêm phần huấn luyện, tạo dữ liệu và xuất mô hình, nên hợp hơn nếu bạn muốn tuỳ biến mô hình.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/unslothai/unsloth.gitRepo tương tự nên xem
LLaMA-Factory
hiyouga / LlamaFactory
Tinh chỉnh hơn 100 mô hình ngôn ngữ qua giao diện web hoặc dòng lệnh, gần như không cần viết code
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
Hugging Face Transformers
huggingface / transformers
Thư viện Python để tải và chạy hàng triệu mô hình AI từ Hugging Face chỉ với vài dòng code