Trải nghiệm khi dùng RVC (Retrieval-based Voice Conversion WebUI)
Sau khi dựng môi trường Python và tải đủ các file mô hình theo README, bạn chạy một lệnh để mở giao diện web ở máy mình. Giao diện có các tab: tab huấn luyện để tạo mô hình giọng từ dữ liệu của bạn, tab suy luận để nạp mô hình và đổi giọng cho file âm thanh, và các công cụ hỗ trợ như tách giọng hát khỏi nhạc nền.
Quy trình quen thuộc là thu hoặc gom khoảng 10 phút giọng sạch ít tiếng ồn (README khuyến nghị tối thiểu mức này), huấn luyện trên card đồ hoạ, rồi dùng mô hình để chuyển giọng của người khác sang giọng đã học. Nhờ cơ chế truy xuất tìm đặc trưng gần nhất trong dữ liệu huấn luyện, tác giả nói hệ thống hạn chế hiện tượng rò rỉ âm sắc của giọng gốc.
Ngưỡng kỹ thuật không thấp: README nay nhắm đến Python 3.12 x64, yêu cầu tải thủ công từng nhóm mô hình từ Hugging Face rồi đặt vào đúng thư mục. Đây không phải phần mềm cài một cú nhấp.
Tính năng nổi bật
Huấn luyện với ít dữ liệu
README khuyến nghị thu ít nhất khoảng 10 phút giọng sạch, và có thể huấn luyện nhanh ngay cả trên card đồ hoạ tầm trung.
Giảm rò rỉ âm sắc giọng gốc
Dùng cách truy xuất đặc trưng top-1 từ tập huấn luyện để thay thế đặc trưng đầu vào, hạn chế lẫn giọng nguồn.
Giao diện web dễ dùng
Mọi bước huấn luyện, đổi giọng, tách giọng nằm trong một giao diện trên trình duyệt.
Tách giọng và nhạc nền
Hỗ trợ các mô hình pymss hoặc MSST để tách vocal và phần nhạc nền, tiện khi muốn đổi giọng cho bài hát.
Nhận diện cao độ tốt
Dùng thuật toán RMVPE để lấy cao độ giọng, giúp giảm hiện tượng mất tiếng và lỗi nốt.
Gộp mô hình
Có thể trộn các mô hình bằng chức năng ckpt-merge để tạo âm sắc mới.
Tận dụng RVC (Retrieval-based Voice Conversion WebUI) vào việc gì?
Người làm video, podcast
Đổi giọng của chính bạn
Huấn luyện mô hình giọng của bạn hoặc giọng người đã cho phép để thay giọng khi cần hoà âm hay lồng tiếng.
Nhạc sĩ, người làm nội dung
Cover và lồng tiếng sáng tạo với sự đồng ý
Chuyển giọng demo của bạn sang giọng ca sĩ hoặc diễn viên đã cho phép bằng văn bản, trước khi thu âm bản thật.
Sinh viên, nhà nghiên cứu
Nghiên cứu voice conversion
Thử nghiệm với kỹ thuật truy xuất, mô hình cao độ và hiệu ứng của dữ liệu lên kết quả.
Người làm audio
Tách giọng làm bản karaoke
Dùng công cụ tách vocal để tạo bản nhạc nền hoặc giọng riêng từ bài hát mà bạn có quyền xử lý.
Cần chuẩn bị gì?
- Python 3.12 x64 theo nhánh hiện tại của README; Ubuntu khuyến nghị 24.04 x86_64.
- Card NVIDIA cho huấn luyện nhanh (README có file cài cho CUDA 11.8 và 12.8 cho RTX 50); AMD hoặc Intel dùng phương án CPU, Windows có thể dùng DirectML.
- FFmpeg; trên Windows có thể đặt ffmpeg.exe và ffprobe.exe vào thư mục dự án.
- Mô hình tải thủ công từ Hugging Face (hubert, rmvpe, pretrained...) và đặt đúng thư mục.
Hướng dẫn cài đặt chi tiết
Cài trên Windows
Cài Python 3.12 x64, mở PowerShell trong thư mục dự án và tạo môi trường ảo.
py -3.12 -m venv .venv .venv\Scripts\activate python -m pip install --upgrade pip setuptools wheelCài thư viện theo phần cứng. Ví dụ máy chỉ dùng CPU hoặc card AMD, Intel (README có file riêng cho NVIDIA CUDA 11.8 và 12.8, với bước cài PyTorch trước).
python -m pip install -r requirments_cpu_py312.txtTải các mô hình cần thiết từ kho Hugging Face của dự án (lj1995/VoiceConversionWebUI) vào thư mục assets đúng cấu trúc README mô tả, rồi đặt ffmpeg.exe và ffprobe.exe vào thư mục gốc dự án.
Cài trên Linux (Ubuntu 24.04)
Cài các gói hệ thống và tạo môi trường ảo theo README.
sudo apt update sudo apt install -y python3.12 python3.12-venv python3.12-dev ffmpeg unzip libsndfile1 libportaudio2 python3.12 -m venv .venv source .venv/bin/activate python -m pip install --upgrade pip setuptools wheelCài thư viện theo phần cứng, rồi tải mô hình từ Hugging Face. Xem mục Môi trường và Mô hình trong README để lấy đúng lệnh và danh sách file.
python -m pip install -r requirments_cpu_py312.txt
Dùng thử lần đầu
Kiểm tra PyTorch có nhận card đồ hoạ chưa (nếu dùng NVIDIA) bằng lệnh kiểm tra trong README.
python -c "import torch; print('torch:', torch.__version__); print('cuda available:', torch.cuda.is_available())"Khởi động giao diện web. README ghi dịch vụ lắng nghe ở cổng 7865.
python webui.pyMở trình duyệt vào địa chỉ hiện trong Terminal. Đặt file mô hình giọng .pth vào thư mục assets/weights và file .index vào assets/indices theo README.
Ở tab suy luận, chọn mô hình giọng, nạp file âm thanh nguồn của chính bạn và thử đổi giọng. Nghe kết quả rồi điều chỉnh cao độ nếu cần.
Muốn tạo giọng mới, thu khoảng 10 phút giọng sạch (của bạn hoặc của người đồng ý), rồi làm theo tab huấn luyện.
Mẹo dùng hay
- Dữ liệu huấn luyện càng sạch (ít tiếng ồn, ít vang) thì kết quả càng ổn; README khuyến nghị thu ít nhất khoảng 10 phút.
- Máy chủ không có màn hình thì chạy với tuỳ chọn --noautoopen để không tự mở trình duyệt.
- Chạy lệnh kiểm tra PyTorch trước khi huấn luyện để chắc đã dùng đúng CUDA.
- Giữ đúng cấu trúc thư mục assets như README mô tả; sai đường dẫn là lỗi phổ biến nhất khi mới cài.
Lưu ý và hạn chế
- Chuyển đổi giọng rất dễ bị lạm dụng để mạo danh, lừa đảo hoặc làm giả sản phẩm của nghệ sĩ. Chỉ dùng giọng của chính bạn hoặc người đã cho phép rõ ràng, không dùng giọng người nổi tiếng hay bài hát có bản quyền khi chưa được phép, và không đăng nội dung làm người khác hiểu lầm.
- Cài đặt phức tạp và tài liệu chính viết bằng tiếng Trung. Cần sẵn sàng đọc hướng dẫn gốc và sửa lỗi môi trường.
- Chất lượng giọng phụ thuộc mạnh vào dữ liệu huấn luyện; dữ liệu kém cho giọng méo, khàn hoặc rè.
Câu hỏi thường gặp
RVC có miễn phí không?
Có, mã nguồn dùng giấy phép MIT. README còn nói bộ mô hình nền được huấn luyện trên tập dữ liệu mở VCTK nên không có lo ngại bản quyền ở phần nền. Dữ liệu giọng và nội dung bạn đưa vào thì bạn tự chịu trách nhiệm.
Có khác gì giọng đọc văn bản (TTS)?
RVC đổi giọng của một đoạn âm thanh có sẵn (bạn nói hoặc hát) sang giọng khác, giữ nội dung và giai điệu. TTS như F5-TTS hay Kokoro tạo âm thanh từ văn bản.
Máy không có card NVIDIA có chạy được không?
README nêu AMD và Intel dùng phương án CPU, Windows có thể dùng DirectML, Linux dùng CPU. Huấn luyện sẽ chậm hơn nhiều so với card NVIDIA.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI.gitRepo tương tự nên xem
GPT-SoVITS
RVC-Boss / GPT-SoVITS
Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ
Ultimate Vocal Remover (UVR)
Anjok07 / ultimatevocalremovergui
Phần mềm có giao diện tách giọng hát khỏi nhạc nền bằng AI, chạy ngay trên máy tính của bạn.
OpenVoice
myshell-ai / OpenVoice
Nhân bản âm sắc giọng nói từ một đoạn mẫu ngắn và cho đọc bằng nhiều ngôn ngữ, giấy phép MIT