Chuyển đến nội dung

hiyouga / LlamaFactory

LLaMA-Factory

Tinh chỉnh hơn 100 mô hình ngôn ngữ qua giao diện web hoặc dòng lệnh, gần như không cần viết code

LLaMA-Factory (viết là LlamaFactory trong README) là bộ công cụ để huấn luyện thêm (fine-tune) các mô hình ngôn ngữ như Qwen, Llama, Gemma, DeepSeek bằng dữ liệu của riêng bạn. Bạn có thể làm bằng giao diện web LLaMA Board hoặc vài lệnh CLI. Dành cho người đã quen Python và có card đồ hoạ, muốn tuỳ biến mô hình mà không tự viết vòng huấn luyện.

  • 76.053 sao
  • 9.375 fork
  • Python
  • Cập nhật hôm nay
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Dòng lệnh (CLI), Web tự cài (self-host)
Chạy trên
Windows, Linux, Docker, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng LLaMA-Factory

Bạn tải mã nguồn, cài vào một môi trường Python, rồi chạy lệnh llamafactory-cli webui để mở giao diện LLaMA Board trong trình duyệt. Trong đó bạn chọn mô hình gốc, chọn bộ dữ liệu, chọn phương pháp huấn luyện như LoRA và bấm chạy, rồi theo dõi biểu đồ mất mát (loss) cập nhật theo thời gian thực.

Nếu thích dòng lệnh, README có ba lệnh mẫu: một lệnh huấn luyện LoRA, một lệnh chat thử với mô hình vừa huấn luyện và một lệnh gộp (merge) phần LoRA vào mô hình gốc. Mọi thiết lập nằm trong file YAML, nên bạn chỉ cần sửa file mẫu thay vì viết code.

Điều khó nhất không nằm ở công cụ mà ở dữ liệu và phần cứng: bạn phải chuẩn bị bộ dữ liệu đúng định dạng, đăng ký nó trong file cấu hình và có đủ VRAM. Trên Windows còn phải tự cài PyTorch bản GPU, nên người mới thường mất khá nhiều thời gian ở bước cài đặt.

Tính năng nổi bật

Hỗ trợ trên 100 mô hình

Gồm LLaMA, Mistral, Qwen, DeepSeek, Gemma, GLM, Phi và cả mô hình hiểu ảnh, âm thanh theo danh sách trong README.

Nhiều phương pháp huấn luyện

Từ tiền huấn luyện tiếp, tinh chỉnh có giám sát (SFT) đến các phương pháp căn chỉnh như PPO, DPO, KTO, ORPO.

Tiết kiệm bộ nhớ

Hỗ trợ LoRA và QLoRA nhiều mức nén để huấn luyện được với card đồ hoạ không quá lớn.

Giao diện LLaMA Board

Giao diện web dùng Gradio để chọn mô hình, dữ liệu và theo dõi quá trình huấn luyện mà không cần đụng nhiều dòng code.

Chat thử và phục vụ API

Có lệnh chat, giao diện Gradio và API kiểu OpenAI, có thể dùng thêm vLLM hoặc SGLang để chạy nhanh hơn.

Theo dõi thí nghiệm

Kết nối với TensorBoard, Weights and Biases, MLflow, SwanLab để so sánh các lần huấn luyện.

Tận dụng LLaMA-Factory vào việc gì?

Doanh nghiệp, đội AI nội bộ

Dạy mô hình hiểu thuật ngữ ngành

Fine-tune mô hình nhỏ bằng tài liệu và câu hỏi đáp của lĩnh vực như bảo hiểm, bất động sản để trả lời đúng giọng và đúng thuật ngữ.

Chủ shop có người biết kỹ thuật

Làm trợ lý chăm sóc khách hàng theo mẫu

Chuẩn bị bộ hội thoại mẫu giữa nhân viên và khách rồi huấn luyện để mô hình trả lời đúng quy trình.

Sinh viên, nghiên cứu sinh

Học cách tinh chỉnh LLM

Chạy các ví dụ có sẵn như fine-tune Qwen3 bằng LoRA, so sánh các phương pháp và đọc tài liệu để hiểu quy trình.

Kỹ sư ML

Thử nhiều mô hình mã nguồn mở trên cùng dữ liệu

Đổi mô hình gốc trong cấu hình để so sánh kết quả trên một bộ dữ liệu cố định.

Cần chuẩn bị gì?

  • Python 3.11 trở lên; PyTorch tối thiểu 2.0.0, khuyến nghị 2.6.0 (theo bảng trong README).
  • Card đồ hoạ NVIDIA có đủ VRAM cho mô hình bạn chọn; README không nêu một mức VRAM chung vì tuỳ mô hình và phương pháp.
  • Trên Windows phải tự cài PyTorch bản GPU và bitsandbytes (nếu dùng QLoRA) theo hướng dẫn trong README.
  • Tài khoản Hugging Face hoặc ModelScope để tải mô hình, và ổ cứng trống cho mô hình và checkpoint.

Hướng dẫn cài đặt chi tiết

Cài trên Cài từ mã nguồn (pip)

  1. Cài Python và git. Tạo môi trường ảo cho dự án, rồi tải mã nguồn về và cài. README ghi rõ bước cài đặt là bắt buộc.

    Terminal
    git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
    cd LlamaFactory
    pip install -e .
    pip install -r requirements/metrics.txt
  2. Mở giao diện web LLaMA Board, sau đó mở địa chỉ hiện trong Terminal bằng trình duyệt.

    Terminal
    llamafactory-cli webui

Cài trên Windows

  1. Làm các bước ở tab trước trong môi trường ảo, nhưng cần cài thủ công PyTorch bản có CUDA. Lấy lệnh đúng trên pytorch.org; ví dụ trong README dùng CUDA 12.6:

    PowerShell
    pip uninstall torch torchvision torchaudio
    pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
    python -c "import torch; print(torch.cuda.is_available())"
  2. Nếu in ra True là PyTorch đã nhận card đồ hoạ. Muốn dùng QLoRA thì cài thêm bitsandbytes, và chú ý phiên bản CUDA Toolkit khớp với bản bitsandbytes (README có ghi chú riêng cho dòng card RTX 50).

    PowerShell
    pip install bitsandbytes
  3. Gặp lỗi Can't pickle local object khi huấn luyện thì README gợi ý thử đặt dataloader_num_workers: 0 trong cấu hình.

Cài trên Docker

  1. Cần máy Linux có Docker và driver NVIDIA. Lệnh dưới chạy ảnh dựng sẵn (Ubuntu 22.04, CUDA 12.4, Python 3.11 theo README).

    Terminal
    docker run -it --rm --gpus=all --ipc=host hiyouga/llamafactory:latest

Dùng thử lần đầu

  1. Chạy ba lệnh mẫu trong README lần lượt để huấn luyện LoRA, chat thử và gộp mô hình với Qwen3-4B-Instruct. Lần đầu sẽ tải mô hình nên cần mạng và ổ cứng.

    Terminal
    llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml
    llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml
    llamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml
  2. Mở giao diện web và làm lại tương tự bằng cách chọn mô hình, bộ dữ liệu mẫu và phương pháp LoRA.

    Terminal
    llamafactory-cli webui
  3. Đọc data/README.md để biết định dạng dữ liệu, và nhớ khai báo bộ dữ liệu riêng của bạn trong file data/dataset_info.json.

  4. Xem thêm các ví dụ nâng cao (huấn luyện phân tán, các phương pháp khác) trong thư mục examples và lệnh llamafactory-cli help.

Mẹo dùng hay

  • Bắt đầu với mô hình nhỏ như bản 4 tỷ tham số trong ví dụ để vừa với card đồ hoạ phổ thông rồi mới tăng dần.
  • Hết bộ nhớ (OOM) thì giảm kích thước batch trong cấu hình trước khi nghĩ đến đổi phần cứng.
  • Chạy thử trên Google Colab, link có trong README, để làm quen trước khi cài trên máy mình.
  • Chỉ tin các trang chính thức được README liệt kê; README cảnh báo các trang khác là bên thứ ba không được ủy quyền.

Lưu ý và hạn chế

  • Công cụ không giúp bạn có dữ liệu tốt; chất lượng mô hình sau khi tinh chỉnh phụ thuộc chủ yếu vào dữ liệu.
  • Mỗi mô hình có giấy phép riêng (Llama, Qwen, Gemma...), README yêu cầu tuân thủ; một số có điều khoản hạn chế dùng thương mại.
  • Cài đặt trên Windows phức tạp hơn Linux; nếu mới học, Linux/WSL hoặc Colab ít rắc rối hơn.

Câu hỏi thường gặp

LLaMA-Factory có miễn phí không?

Có, giấy phép Apache-2.0. Chi phí chỉ nằm ở phần cứng hoặc thuê GPU.

Không biết lập trình có dùng được không?

Giao diện web giúp bớt code, nhưng vẫn cần cài môi trường Python, chuẩn bị dữ liệu và xử lý lỗi. Người hoàn toàn mới nên bắt đầu với Colab hoặc nhờ người có kinh nghiệm.

Có tinh chỉnh được mô hình để giỏi tiếng Việt không?

Về nguyên tắc có, nếu bạn có bộ dữ liệu tiếng Việt tốt và mô hình gốc phù hợp. README không cam kết kết quả cụ thể cho tiếng Việt.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/hiyouga/LlamaFactory.git

Repo tương tự nên xem

Thư viện & framework AI79,6K

Unsloth

unslothai / unsloth

Ứng dụng chạy và tinh chỉnh mô hình AI trên máy mình, tiết kiệm VRAM và nhanh hơn

VừaWindowsmacOSLinuxDocker+1
Thư viện & framework AI169K

Hugging Face Transformers

huggingface / transformers

Thư viện Python để tải và chạy hàng triệu mô hình AI từ Hugging Face chỉ với vài dòng code

KhóWindowsmacOSLinuxPython
Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Thư viện & framework AI

Thư viện & framework AI202K

TensorFlow

tensorflow / tensorflow

Nền tảng học máy của Google để xây, huấn luyện và triển khai mô hình AI bằng Python

KhóWindowsmacOSLinuxDocker+1
Thư viện & framework AI150K

LangChain

langchain-ai / langchain

Thư viện Python giúp lập trình viên ráp ứng dụng và agent chạy bằng AI từ các mảnh ghép dựng sẵn

KhóPython
Thư viện & framework AI106K

PyTorch

pytorch / pytorch

Thư viện học sâu phổ biến nhất giới nghiên cứu, tính toán tensor trên GPU và huấn luyện mạng nơ-ron

KhóWindowsmacOSLinuxDocker+1
Thư viện & framework AI91,6K

OpenCV

opencv / opencv

Thư viện thị giác máy tính kinh điển: xử lý ảnh, video, nhận diện khuôn mặt, vật thể

KhóWindowsmacOSLinuxAndroid+2
Thư viện & framework AI68,2K

scikit-learn

scikit-learn / scikit-learn

Thư viện học máy cổ điển bằng Python: phân loại, dự đoán, gom nhóm dữ liệu bảng rất dễ dùng

KhóWindowsmacOSLinuxPython
Thư viện & framework AI63,5K

Ultralytics YOLO

ultralytics / ultralytics

Nhận diện vật thể, phân đoạn, theo dõi trong ảnh và video bằng họ mô hình YOLO chỉ với một lệnh

VừaWindowsmacOSLinuxDocker+1

Xem cả 14 repo Thư viện & framework AI Về Kho Repo