Trải nghiệm khi dùng LLaMA-Factory
Bạn tải mã nguồn, cài vào một môi trường Python, rồi chạy lệnh llamafactory-cli webui để mở giao diện LLaMA Board trong trình duyệt. Trong đó bạn chọn mô hình gốc, chọn bộ dữ liệu, chọn phương pháp huấn luyện như LoRA và bấm chạy, rồi theo dõi biểu đồ mất mát (loss) cập nhật theo thời gian thực.
Nếu thích dòng lệnh, README có ba lệnh mẫu: một lệnh huấn luyện LoRA, một lệnh chat thử với mô hình vừa huấn luyện và một lệnh gộp (merge) phần LoRA vào mô hình gốc. Mọi thiết lập nằm trong file YAML, nên bạn chỉ cần sửa file mẫu thay vì viết code.
Điều khó nhất không nằm ở công cụ mà ở dữ liệu và phần cứng: bạn phải chuẩn bị bộ dữ liệu đúng định dạng, đăng ký nó trong file cấu hình và có đủ VRAM. Trên Windows còn phải tự cài PyTorch bản GPU, nên người mới thường mất khá nhiều thời gian ở bước cài đặt.
Tính năng nổi bật
Hỗ trợ trên 100 mô hình
Gồm LLaMA, Mistral, Qwen, DeepSeek, Gemma, GLM, Phi và cả mô hình hiểu ảnh, âm thanh theo danh sách trong README.
Nhiều phương pháp huấn luyện
Từ tiền huấn luyện tiếp, tinh chỉnh có giám sát (SFT) đến các phương pháp căn chỉnh như PPO, DPO, KTO, ORPO.
Tiết kiệm bộ nhớ
Hỗ trợ LoRA và QLoRA nhiều mức nén để huấn luyện được với card đồ hoạ không quá lớn.
Giao diện LLaMA Board
Giao diện web dùng Gradio để chọn mô hình, dữ liệu và theo dõi quá trình huấn luyện mà không cần đụng nhiều dòng code.
Chat thử và phục vụ API
Có lệnh chat, giao diện Gradio và API kiểu OpenAI, có thể dùng thêm vLLM hoặc SGLang để chạy nhanh hơn.
Theo dõi thí nghiệm
Kết nối với TensorBoard, Weights and Biases, MLflow, SwanLab để so sánh các lần huấn luyện.
Tận dụng LLaMA-Factory vào việc gì?
Doanh nghiệp, đội AI nội bộ
Dạy mô hình hiểu thuật ngữ ngành
Fine-tune mô hình nhỏ bằng tài liệu và câu hỏi đáp của lĩnh vực như bảo hiểm, bất động sản để trả lời đúng giọng và đúng thuật ngữ.
Chủ shop có người biết kỹ thuật
Làm trợ lý chăm sóc khách hàng theo mẫu
Chuẩn bị bộ hội thoại mẫu giữa nhân viên và khách rồi huấn luyện để mô hình trả lời đúng quy trình.
Sinh viên, nghiên cứu sinh
Học cách tinh chỉnh LLM
Chạy các ví dụ có sẵn như fine-tune Qwen3 bằng LoRA, so sánh các phương pháp và đọc tài liệu để hiểu quy trình.
Kỹ sư ML
Thử nhiều mô hình mã nguồn mở trên cùng dữ liệu
Đổi mô hình gốc trong cấu hình để so sánh kết quả trên một bộ dữ liệu cố định.
Cần chuẩn bị gì?
- Python 3.11 trở lên; PyTorch tối thiểu 2.0.0, khuyến nghị 2.6.0 (theo bảng trong README).
- Card đồ hoạ NVIDIA có đủ VRAM cho mô hình bạn chọn; README không nêu một mức VRAM chung vì tuỳ mô hình và phương pháp.
- Trên Windows phải tự cài PyTorch bản GPU và bitsandbytes (nếu dùng QLoRA) theo hướng dẫn trong README.
- Tài khoản Hugging Face hoặc ModelScope để tải mô hình, và ổ cứng trống cho mô hình và checkpoint.
Hướng dẫn cài đặt chi tiết
Cài trên Cài từ mã nguồn (pip)
Cài Python và git. Tạo môi trường ảo cho dự án, rồi tải mã nguồn về và cài. README ghi rõ bước cài đặt là bắt buộc.
git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git cd LlamaFactory pip install -e . pip install -r requirements/metrics.txtMở giao diện web LLaMA Board, sau đó mở địa chỉ hiện trong Terminal bằng trình duyệt.
llamafactory-cli webui
Cài trên Windows
Làm các bước ở tab trước trong môi trường ảo, nhưng cần cài thủ công PyTorch bản có CUDA. Lấy lệnh đúng trên pytorch.org; ví dụ trong README dùng CUDA 12.6:
pip uninstall torch torchvision torchaudio pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126 python -c "import torch; print(torch.cuda.is_available())"Nếu in ra True là PyTorch đã nhận card đồ hoạ. Muốn dùng QLoRA thì cài thêm bitsandbytes, và chú ý phiên bản CUDA Toolkit khớp với bản bitsandbytes (README có ghi chú riêng cho dòng card RTX 50).
pip install bitsandbytesGặp lỗi Can't pickle local object khi huấn luyện thì README gợi ý thử đặt dataloader_num_workers: 0 trong cấu hình.
Cài trên Docker
Cần máy Linux có Docker và driver NVIDIA. Lệnh dưới chạy ảnh dựng sẵn (Ubuntu 22.04, CUDA 12.4, Python 3.11 theo README).
docker run -it --rm --gpus=all --ipc=host hiyouga/llamafactory:latest
Dùng thử lần đầu
Chạy ba lệnh mẫu trong README lần lượt để huấn luyện LoRA, chat thử và gộp mô hình với Qwen3-4B-Instruct. Lần đầu sẽ tải mô hình nên cần mạng và ổ cứng.
llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml llamafactory-cli export examples/merge_lora/qwen3_lora_sft.yamlMở giao diện web và làm lại tương tự bằng cách chọn mô hình, bộ dữ liệu mẫu và phương pháp LoRA.
llamafactory-cli webuiĐọc data/README.md để biết định dạng dữ liệu, và nhớ khai báo bộ dữ liệu riêng của bạn trong file data/dataset_info.json.
Xem thêm các ví dụ nâng cao (huấn luyện phân tán, các phương pháp khác) trong thư mục examples và lệnh
llamafactory-cli help.
Mẹo dùng hay
- Bắt đầu với mô hình nhỏ như bản 4 tỷ tham số trong ví dụ để vừa với card đồ hoạ phổ thông rồi mới tăng dần.
- Hết bộ nhớ (OOM) thì giảm kích thước batch trong cấu hình trước khi nghĩ đến đổi phần cứng.
- Chạy thử trên Google Colab, link có trong README, để làm quen trước khi cài trên máy mình.
- Chỉ tin các trang chính thức được README liệt kê; README cảnh báo các trang khác là bên thứ ba không được ủy quyền.
Lưu ý và hạn chế
- Công cụ không giúp bạn có dữ liệu tốt; chất lượng mô hình sau khi tinh chỉnh phụ thuộc chủ yếu vào dữ liệu.
- Mỗi mô hình có giấy phép riêng (Llama, Qwen, Gemma...), README yêu cầu tuân thủ; một số có điều khoản hạn chế dùng thương mại.
- Cài đặt trên Windows phức tạp hơn Linux; nếu mới học, Linux/WSL hoặc Colab ít rắc rối hơn.
Câu hỏi thường gặp
LLaMA-Factory có miễn phí không?
Có, giấy phép Apache-2.0. Chi phí chỉ nằm ở phần cứng hoặc thuê GPU.
Không biết lập trình có dùng được không?
Giao diện web giúp bớt code, nhưng vẫn cần cài môi trường Python, chuẩn bị dữ liệu và xử lý lỗi. Người hoàn toàn mới nên bắt đầu với Colab hoặc nhờ người có kinh nghiệm.
Có tinh chỉnh được mô hình để giỏi tiếng Việt không?
Về nguyên tắc có, nếu bạn có bộ dữ liệu tiếng Việt tốt và mô hình gốc phù hợp. README không cam kết kết quả cụ thể cho tiếng Việt.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/hiyouga/LlamaFactory.gitRepo tương tự nên xem
Unsloth
unslothai / unsloth
Ứng dụng chạy và tinh chỉnh mô hình AI trên máy mình, tiết kiệm VRAM và nhanh hơn
Hugging Face Transformers
huggingface / transformers
Thư viện Python để tải và chạy hàng triệu mô hình AI từ Hugging Face chỉ với vài dòng code
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh