Chuyển đến nội dung

unslothai / unsloth

Unsloth

Ứng dụng chạy và tinh chỉnh mô hình AI trên máy mình, tiết kiệm VRAM và nhanh hơn

Unsloth là bộ công cụ để chạy và huấn luyện (fine-tune) các mô hình ngôn ngữ ngay trên máy tính của bạn. Hiện có ứng dụng máy tính cài như phần mềm thường, giao diện web Unsloth Studio và thư viện Python cho người viết code. Dành cho ai muốn dạy mô hình mở học theo dữ liệu riêng mà không có card đồ hoạ quá mạnh.

  • 79.573 sao
  • 7.419 fork
  • Python
  • Cập nhật hôm qua
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Ứng dụng máy tính, Thư viện lập trình
Chạy trên
Windows, macOS, Linux, Docker, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng Unsloth

Bạn tải ứng dụng Unsloth Desktop từ trang chính thức hoặc trang Releases, cài như phần mềm bình thường rồi mở lên. Từ đó bạn chọn một mô hình để chạy ngay trên máy, chat với nó trong giao diện, hoặc mở phần huấn luyện để dạy mô hình theo dữ liệu của mình.

Điểm khiến Unsloth được nhắc nhiều là tiết kiệm tài nguyên: README nói huấn luyện nhanh gấp đôi và dùng ít VRAM (bộ nhớ card đồ hoạ) hơn khoảng 70% mà không giảm độ chính xác. Đó là số liệu do dự án công bố, nên hãy xem như tham khảo và tự kiểm tra trên máy của mình.

Ngoài chat và huấn luyện, nó còn có thể tạo bộ dữ liệu từ PDF, CSV, DOCX, xuất mô hình sang định dạng GGUF để dùng với các công cụ khác, và chạy như một máy chủ API tương thích kiểu OpenAI. Có cả lệnh nối Claude Code hoặc Codex với mô hình chạy trên máy.

Tính năng nổi bật

Ứng dụng máy tính và giao diện web

Có Unsloth Desktop cài như phần mềm thường, Unsloth Studio dạng web, và bản thư viện Python cho người viết code.

Huấn luyện tiết kiệm VRAM

Hỗ trợ LoRA, QLoRA, fine-tune đầy đủ, học tăng cường và nhiều kỹ thuật khác; dự án tuyên bố nhanh hơn 2 lần và ít VRAM hơn 70%.

Chạy mô hình ngay trên máy

Chạy nhiều loại mô hình (ngôn ngữ, ảnh, âm thanh, embedding) và có thể phục vụ qua API tương thích OpenAI cho các ứng dụng khác dùng chung.

Tạo bộ dữ liệu từ tài liệu

Tính năng Data Recipes biến PDF, CSV, DOCX thành dữ liệu để huấn luyện, đỡ phải soạn tay.

Xuất và triển khai

Xuất mô hình sang GGUF, FP8 và các định dạng khác để chạy ở nơi khác.

Chạy trên nhiều loại phần cứng

README nêu hỗ trợ NVIDIA, AMD, Intel, CPU và Vulkan, trên Windows, Linux, WSL và macOS.

Tận dụng Unsloth vào việc gì?

Chủ shop online, đội chăm sóc khách hàng

Dạy mô hình trả lời theo văn phong của shop

Chuẩn bị vài trăm cặp hỏi và đáp mẫu rồi tinh chỉnh một mô hình nhỏ để nó trả lời theo giọng thương hiệu. Cần kiểm tra kỹ trước khi dùng thật.

Sinh viên, người tự học AI

Thử huấn luyện mô hình khi chỉ có một card đồ hoạ

Thử fine-tune mô hình cỡ nhỏ trên card gia đình hoặc trên Colab, học được quy trình từ chuẩn bị dữ liệu đến xuất mô hình.

Dân văn phòng, bộ phận IT

Chạy AI nội bộ cho tài liệu nhạy cảm

Chạy mô hình trên máy rồi chat và tìm kiếm trong tài liệu mà không gửi dữ liệu ra ngoài.

Lập trình viên

Dùng trợ lý code với mô hình chạy cục bộ

Dùng lệnh unsloth start để nối Claude Code hoặc Codex vào một mô hình chạy trên máy, hợp khi làm dự án cần giữ mã nguồn kín.

Cần chuẩn bị gì?

  • Windows, macOS, Linux hoặc WSL; README có bản cài cho Windows, macOS, Linux (deb, AppImage) và cả ARM64.
  • Card đồ hoạ NVIDIA, AMD hoặc Intel giúp huấn luyện nhanh hơn; README cũng nói có hỗ trợ CPU, nhưng không nêu yêu cầu VRAM cụ thể, nên hãy xem tài liệu chính thức theo từng mô hình.
  • Ổ cứng trống đủ chứa mô hình (vài GB đến vài chục GB tuỳ mô hình).
  • Docker và NVIDIA Container Toolkit nếu chạy bằng ảnh Docker có GPU.

Hướng dẫn cài đặt chi tiết

Cài trên Windows

  1. Cách dễ nhất: vào unsloth.ai/download hoặc trang GitHub Releases của dự án và tải bản Unsloth Desktop cho Windows. Cài như phần mềm thường.

    Văn bản
    https://unsloth.ai/download
  2. Hoặc cài bằng winget (README liệt kê lệnh này) trong PowerShell.

    PowerShell
    winget install --id UnslothAI.Unsloth -e
  3. Hoặc cài giao diện web Unsloth Studio bằng script chính thức, rồi chạy lệnh khởi động. Chỉ dán script từ nguồn bạn tin cậy; đây là lệnh trong README chính thức.

    PowerShell
    irm https://unsloth.ai/install.ps1 | iex
    unsloth studio

Cài trên macOS

  1. Tải bản macOS ở unsloth.ai/download, hoặc cài bằng Homebrew.

    Terminal
    brew install --cask unsloth
  2. Hoặc dùng script cài chính thức cho giao diện web rồi khởi động.

    Terminal
    curl -fsSL https://unsloth.ai/install.sh | sh
    unsloth studio

Cài trên Linux / WSL

  1. Tải gói .deb hoặc AppImage ở trang download, hoặc dùng script cài chính thức.

    Terminal
    curl -fsSL https://unsloth.ai/install.sh | sh
  2. Khởi động giao diện web, sau đó mở địa chỉ hiện trong Terminal.

    Terminal
    unsloth studio

Cài trên Docker

  1. Dùng ảnh unsloth/unsloth. Trên Linux hoặc WSL có card NVIDIA, README đưa lệnh sau (đã cài NVIDIA Container Toolkit trước theo hướng dẫn Docker của Unsloth).

    Terminal
    docker run -d --name unsloth --gpus all --ipc=host \
      -p 8000:8000 -p 8888:8888 \
      -v "$PWD":/workspace/host \
      -v unsloth-workspace:/workspace \
      -v "$HOME/.cache/huggingface":/workspace/.cache/huggingface \
      -v unsloth-studio:/opt/unsloth-studio \
      unsloth/unsloth && docker logs -f unsloth

Dùng thử lần đầu

  1. Mở Unsloth Desktop (hoặc chạy unsloth studio và mở địa chỉ hiện ra trong Terminal).

  2. Chọn một mô hình nhỏ để chạy thử và chat vài câu tiếng Việt, xem tốc độ và chất lượng ra sao trên máy của bạn.

  3. Làm theo hướng dẫn Quickstart và bộ notebook trên unsloth.ai/docs để huấn luyện một mô hình nhỏ bằng bộ dữ liệu mẫu trước khi dùng dữ liệu riêng.

  4. Thử nối công cụ lập trình với mô hình cục bộ bằng lệnh mẫu trong README (thay tên mô hình cho phù hợp với máy bạn).

    Terminal
    unsloth start claude --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL
  5. Khi hài lòng, xuất mô hình ra định dạng GGUF theo tài liệu rồi dùng với công cụ khác.

Mẹo dùng hay

  • Mới học thì chọn mô hình nhỏ và tập dữ liệu nhỏ để thấy cả quy trình chạy được trước khi đầu tư dữ liệu lớn.
  • Nếu mở Unsloth ra mạng LAN hoặc Internet, README cảnh báo các công cụ phía máy chủ bật sẵn; hãy đặt mật khẩu mạnh hoặc dùng tuỳ chọn tắt công cụ.
  • Muốn Desktop dùng cổng khác thì đặt biến môi trường UNSLOTH_DESKTOP_PORT rồi thoát hẳn và mở lại ứng dụng.

Lưu ý và hạn chế

  • Giấy phép kép: lõi Unsloth theo Apache-2.0, còn một số thành phần tuỳ chọn như giao diện Studio theo AGPL-3.0; nếu dùng cho sản phẩm thương mại hãy đọc kỹ.
  • Huấn luyện mô hình vẫn cần card đồ hoạ và thời gian; những con số tăng tốc là do dự án công bố, kết quả thực tế tuỳ máy và mô hình.
  • Mỗi mô hình có giấy phép riêng; fine-tune mô hình có điều khoản hạn chế thì bản của bạn cũng bị hạn chế theo.

Câu hỏi thường gặp

Unsloth có miễn phí không?

Có. Mã nguồn mở và tải về dùng miễn phí; bạn chỉ tốn điện và phần cứng, hoặc tiền thuê GPU nếu chạy trên đám mây.

Cần card đồ hoạ mạnh không?

README nói hỗ trợ NVIDIA, AMD, Intel và cả CPU. Tuy vậy huấn luyện mô hình thật sự thường cần GPU; yêu cầu cụ thể phụ thuộc mô hình, xem ở tài liệu của Unsloth.

Khác gì Ollama?

Ollama tập trung chạy mô hình có sẵn. Unsloth có thêm phần huấn luyện, tạo dữ liệu và xuất mô hình, nên hợp hơn nếu bạn muốn tuỳ biến mô hình.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/unslothai/unsloth.git

Repo tương tự nên xem

Thư viện & framework AI76,1K

LLaMA-Factory

hiyouga / LlamaFactory

Tinh chỉnh hơn 100 mô hình ngôn ngữ qua giao diện web hoặc dòng lệnh, gần như không cần viết code

KhóWindowsLinuxDockerPython
Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Thư viện & framework AI169K

Hugging Face Transformers

huggingface / transformers

Thư viện Python để tải và chạy hàng triệu mô hình AI từ Hugging Face chỉ với vài dòng code

KhóWindowsmacOSLinuxPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Thư viện & framework AI

Thư viện & framework AI202K

TensorFlow

tensorflow / tensorflow

Nền tảng học máy của Google để xây, huấn luyện và triển khai mô hình AI bằng Python

KhóWindowsmacOSLinuxDocker+1
Thư viện & framework AI150K

LangChain

langchain-ai / langchain

Thư viện Python giúp lập trình viên ráp ứng dụng và agent chạy bằng AI từ các mảnh ghép dựng sẵn

KhóPython
Thư viện & framework AI106K

PyTorch

pytorch / pytorch

Thư viện học sâu phổ biến nhất giới nghiên cứu, tính toán tensor trên GPU và huấn luyện mạng nơ-ron

KhóWindowsmacOSLinuxDocker+1
Thư viện & framework AI91,6K

OpenCV

opencv / opencv

Thư viện thị giác máy tính kinh điển: xử lý ảnh, video, nhận diện khuôn mặt, vật thể

KhóWindowsmacOSLinuxAndroid+2
Thư viện & framework AI68,2K

scikit-learn

scikit-learn / scikit-learn

Thư viện học máy cổ điển bằng Python: phân loại, dự đoán, gom nhóm dữ liệu bảng rất dễ dùng

KhóWindowsmacOSLinuxPython
Thư viện & framework AI63,5K

Ultralytics YOLO

ultralytics / ultralytics

Nhận diện vật thể, phân đoạn, theo dõi trong ảnh và video bằng họ mô hình YOLO chỉ với một lệnh

VừaWindowsmacOSLinuxDocker+1

Xem cả 14 repo Thư viện & framework AI Về Kho Repo