Trải nghiệm khi dùng GPT-SoVITS
Trên Windows, bạn tải gói tích hợp, giải nén ra, bấm đúp file go-webui.bat để mở giao diện trên trình duyệt. Giao diện chia thành các tab theo công đoạn: chuẩn bị dữ liệu (tách giọng, cắt nhỏ, khử ồn, nhận dạng lời, chỉnh lời), huấn luyện mô hình riêng, và tab suy luận để nhập chữ và nghe kết quả.
Cách dùng nhanh nhất là zero-shot: bạn đưa vào một đoạn giọng mẫu khoảng 5 giây cùng lời của đoạn ấy, rồi gõ văn bản mới và bấm tạo. Muốn giống hơn, bạn tinh chỉnh bằng khoảng 1 phút dữ liệu giọng sạch theo các bước ở tab huấn luyện. README ghi tốc độ suy luận rất nhanh trên card tốt, nhưng bạn nên hiểu đó là số đo của tác giả trên các cấu hình của họ.
Hướng dẫn chi tiết đầy đủ nằm ở tài liệu người dùng bằng tiếng Trung hoặc tiếng Anh mà README dẫn link; bạn nên đọc trước khi tự tinh chỉnh vì có nhiều tuỳ chọn.
Tính năng nổi bật
Zero-shot với 5 giây mẫu
Chỉ cần một đoạn giọng mẫu ngắn để thử nhân bản, không phải huấn luyện.
Few-shot cho giống hơn
Tinh chỉnh mô hình với khoảng 1 phút dữ liệu để tăng độ giống và chân thực của giọng.
Công cụ chuẩn bị dữ liệu trong WebUI
Tích hợp tách giọng khỏi nhạc nền (UVR5), tự cắt đoạn, khử ồn, nhận dạng lời và gán nhãn, giúp người mới làm bộ dữ liệu.
Hỗ trợ đa ngôn ngữ ngoài ngôn ngữ huấn luyện
Đọc được bằng tiếng Anh, Nhật, Hàn, Quảng Đông và Trung Quốc từ cùng một giọng mẫu.
Gói cài và Docker
Gói tích hợp cho Windows, script cài cho Linux, macOS, và Docker Compose với nhiều tuỳ chọn CUDA.
Nhiều phiên bản mô hình
README ghi chú các bản v1 đến v4 với cải tiến dần về độ giống giọng, độ ổn định và chất lượng âm thanh (v4 xuất 48k).
Tận dụng GPT-SoVITS vào việc gì?
Người làm YouTube, podcast
Tạo giọng đọc riêng cho kênh nội dung
Tinh chỉnh giọng của chính bạn để đọc kịch bản dài khi bạn không tiện thu âm, với sự đồng ý của người có giọng.
Nhà làm game, người làm hoạt hình
Làm giọng nhân vật cho game hoặc hoạt hình
Tạo giọng cho nhân vật từ diễn viên đã cho phép, đọc lời thoại bằng các ngôn ngữ được hỗ trợ.
Người làm audio, lập trình viên
Tách giọng và làm bộ dữ liệu
Dùng bộ công cụ tách nhạc, cắt, nhận dạng lời có sẵn để chuẩn bị dữ liệu huấn luyện cho các dự án giọng nói.
Sinh viên, nhà nghiên cứu
Nghiên cứu và thử nghiệm TTS
So sánh các phiên bản v1 đến v4 để hiểu tác động của dữ liệu và mô hình lên chất lượng giọng.
Cần chuẩn bị gì?
- Windows 10 trở lên cho gói tích hợp; Linux và macOS cài bằng script có sẵn (README khuyên dùng conda với Python 3.10).
- Card NVIDIA cho tốc độ tốt (script cài hỗ trợ CUDA 12.6 và 12.8, ROCm, MPS cho Mac, hoặc CPU).
- FFmpeg, và trên Windows cần Visual Studio 2017 redistributable theo README.
- Ổ cứng trống cho mô hình tiền huấn luyện và dữ liệu.
Hướng dẫn cài đặt chi tiết
Cài trên Windows (gói tích hợp)
Tải gói tích hợp từ trang Hugging Face được README dẫn link (file 7z ghi trong mục Installation), giải nén vào thư mục có đường dẫn ngắn.
https://huggingface.co/lj1995/GPT-SoVITS-windows-packageBấm đúp file go-webui.bat (hoặc go-webui.ps1) để mở giao diện trên trình duyệt.
Muốn dùng riêng phần suy luận phiên bản mới, README hướng dẫn bấm đúp go-webui-v2.bat rồi vào mục inference trong WebUI.
Cài trên Linux và macOS
Tạo môi trường conda Python 3.10, rồi chạy script cài. Thay tham số theo phần cứng: CU126, CU128, ROCM hoặc CPU cho Linux; MPS hoặc CPU cho macOS; nguồn tải mô hình là HF, HF-Mirror hoặc ModelScope.
conda create -n GPTSoVits python=3.10 conda activate GPTSoVits bash install.sh --device CU128 --source HFLưu ý: README nói trên Mac, mô hình huấn luyện bằng GPU chất lượng thấp hơn nhiều so với thiết bị khác nên tạm thời dùng CPU để huấn luyện.
Mở giao diện bằng lệnh dưới.
python webui.py
Cài trên Docker
Mã nguồn kèm file docker-compose, có các dịch vụ GPT-SoVITS-CU126, GPT-SoVITS-CU128 và các bản Lite. Chạy trong thư mục gốc của dự án, nhớ lấy mã nguồn mới nhất trước. Chọn dịch vụ phù hợp với CUDA của máy.
docker compose run --service-ports GPT-SoVITS-CU128Trên Windows (Docker Desktop) nên tăng shm_size trong file compose theo hướng dẫn README nếu gặp lỗi lạ.
Dùng thử lần đầu
Mở WebUI bằng go-webui.bat (Windows) hoặc python webui.py (Linux, macOS). Mở địa chỉ hiện trong cửa sổ chạy.
Chuẩn bị một file giọng sạch, độ dài vài giây đến vài chục giây, và chắc chắn bạn có quyền dùng giọng đó.
Với zero-shot: vào tab suy luận (1-GPT-SoVITS-TTS, mục inference), tải giọng mẫu lên, điền lời của giọng mẫu, nhập văn bản mới và bấm tạo.
Muốn giống hơn, làm theo trình tự trong tab huấn luyện: nhập đường dẫn âm thanh, cắt nhỏ, khử ồn (tuỳ chọn), nhận dạng lời, kiểm tra lời, rồi sang tab tiếp theo để tinh chỉnh.
Sau khi huấn luyện, quay lại tab suy luận, chọn mô hình vừa tạo và đọc thử văn bản.
Mẹo dùng hay
- Lời chú thích của đoạn mẫu cần đúng; sai lời sẽ làm giọng đọc kém.
- Dùng file âm thanh sạch, không nhạc nền, ít vang; nếu có nhạc, dùng công cụ tách giọng UVR5 tích hợp trước.
- File nhãn dữ liệu có dạng đường dẫn, tên giọng, ngôn ngữ và lời, phân tách bằng dấu gạch đứng, ngôn ngữ dùng mã zh, ja, en, ko, yue.
- Cập nhật theo release mới của repo; README ghi chú rất chi tiết thay đổi giữa các phiên bản mô hình.
Lưu ý và hạn chế
- Công cụ nhân bản giọng có thể bị lạm dụng để giả mạo người khác. Chỉ dùng giọng của chính bạn hoặc người đã đồng ý rõ ràng, không dùng để lừa đảo hay mạo danh.
- Ngôn ngữ chính thức không gồm tiếng Việt, nên bạn khó dùng cho văn bản tiếng Việt với chất lượng tốt trừ khi có mô hình tuỳ chỉnh từ cộng đồng.
- Quy trình tinh chỉnh khá phức tạp với người mới; nhiều tài liệu chi tiết viết bằng tiếng Trung hoặc tiếng Anh.
Câu hỏi thường gặp
GPT-SoVITS có đọc được tiếng Việt không?
README liệt kê hỗ trợ tiếng Anh, Nhật, Hàn, Quảng Đông và Trung Quốc. Tiếng Việt không có trong danh sách chính thức.
Có miễn phí và dùng thương mại được không?
Mã nguồn dùng giấy phép MIT và miễn phí. Các mô hình và dữ liệu giọng bạn dùng có thể có điều khoản riêng, bạn cần tự kiểm tra và có sự đồng ý của chủ giọng.
Cần bao nhiêu dữ liệu để nhân bản giọng?
README nói zero-shot dùng 5 giây mẫu và few-shot tinh chỉnh với khoảng 1 phút dữ liệu. Chất lượng thực tế phụ thuộc độ sạch của dữ liệu.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/RVC-Boss/GPT-SoVITS.gitRepo tương tự nên xem
RVC (Retrieval-based Voice Conversion WebUI)
RVC-Project / Retrieval-based-Voice-Conversion-WebUI
Đổi giọng nói thành giọng khác chỉ cần khoảng 10 phút dữ liệu để huấn luyện, có giao diện web
F5-TTS
SWivid / F5-TTS
Bắt chước giọng nói từ vài giây âm thanh mẫu rồi đọc văn bản mới bằng giọng đó
OpenVoice
myshell-ai / OpenVoice
Nhân bản âm sắc giọng nói từ một đoạn mẫu ngắn và cho đọc bằng nhiều ngôn ngữ, giấy phép MIT