Chuyển đến nội dung

RVC-Project / Retrieval-based-Voice-Conversion-WebUI

RVC (Retrieval-based Voice Conversion WebUI)

Đổi giọng nói thành giọng khác chỉ cần khoảng 10 phút dữ liệu để huấn luyện, có giao diện web

RVC là framework chuyển đổi giọng (voice conversion): bạn nói hoặc hát, hệ thống đổi thành giọng của một mô hình đã huấn luyện, giữ nguyên nội dung và giai điệu. Có giao diện web để huấn luyện mô hình giọng riêng từ khoảng 10 phút giọng sạch, và dùng mô hình để đổi giọng. Phần tài liệu chính của repo bằng tiếng Trung; bài này tóm tắt lại. Công cụ này rất dễ bị lạm dụng nên cần đặc biệt chú ý đến sự đồng ý và bản quyền.

  • 39.280 sao
  • 5.356 fork
  • Python
  • Cập nhật 3 tháng trước
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Ứng dụng máy tính, Mô hình AI
Chạy trên
Windows, Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng RVC (Retrieval-based Voice Conversion WebUI)

Sau khi dựng môi trường Python và tải đủ các file mô hình theo README, bạn chạy một lệnh để mở giao diện web ở máy mình. Giao diện có các tab: tab huấn luyện để tạo mô hình giọng từ dữ liệu của bạn, tab suy luận để nạp mô hình và đổi giọng cho file âm thanh, và các công cụ hỗ trợ như tách giọng hát khỏi nhạc nền.

Quy trình quen thuộc là thu hoặc gom khoảng 10 phút giọng sạch ít tiếng ồn (README khuyến nghị tối thiểu mức này), huấn luyện trên card đồ hoạ, rồi dùng mô hình để chuyển giọng của người khác sang giọng đã học. Nhờ cơ chế truy xuất tìm đặc trưng gần nhất trong dữ liệu huấn luyện, tác giả nói hệ thống hạn chế hiện tượng rò rỉ âm sắc của giọng gốc.

Ngưỡng kỹ thuật không thấp: README nay nhắm đến Python 3.12 x64, yêu cầu tải thủ công từng nhóm mô hình từ Hugging Face rồi đặt vào đúng thư mục. Đây không phải phần mềm cài một cú nhấp.

Tính năng nổi bật

Huấn luyện với ít dữ liệu

README khuyến nghị thu ít nhất khoảng 10 phút giọng sạch, và có thể huấn luyện nhanh ngay cả trên card đồ hoạ tầm trung.

Giảm rò rỉ âm sắc giọng gốc

Dùng cách truy xuất đặc trưng top-1 từ tập huấn luyện để thay thế đặc trưng đầu vào, hạn chế lẫn giọng nguồn.

Giao diện web dễ dùng

Mọi bước huấn luyện, đổi giọng, tách giọng nằm trong một giao diện trên trình duyệt.

Tách giọng và nhạc nền

Hỗ trợ các mô hình pymss hoặc MSST để tách vocal và phần nhạc nền, tiện khi muốn đổi giọng cho bài hát.

Nhận diện cao độ tốt

Dùng thuật toán RMVPE để lấy cao độ giọng, giúp giảm hiện tượng mất tiếng và lỗi nốt.

Gộp mô hình

Có thể trộn các mô hình bằng chức năng ckpt-merge để tạo âm sắc mới.

Tận dụng RVC (Retrieval-based Voice Conversion WebUI) vào việc gì?

Người làm video, podcast

Đổi giọng của chính bạn

Huấn luyện mô hình giọng của bạn hoặc giọng người đã cho phép để thay giọng khi cần hoà âm hay lồng tiếng.

Nhạc sĩ, người làm nội dung

Cover và lồng tiếng sáng tạo với sự đồng ý

Chuyển giọng demo của bạn sang giọng ca sĩ hoặc diễn viên đã cho phép bằng văn bản, trước khi thu âm bản thật.

Sinh viên, nhà nghiên cứu

Nghiên cứu voice conversion

Thử nghiệm với kỹ thuật truy xuất, mô hình cao độ và hiệu ứng của dữ liệu lên kết quả.

Người làm audio

Tách giọng làm bản karaoke

Dùng công cụ tách vocal để tạo bản nhạc nền hoặc giọng riêng từ bài hát mà bạn có quyền xử lý.

Cần chuẩn bị gì?

  • Python 3.12 x64 theo nhánh hiện tại của README; Ubuntu khuyến nghị 24.04 x86_64.
  • Card NVIDIA cho huấn luyện nhanh (README có file cài cho CUDA 11.8 và 12.8 cho RTX 50); AMD hoặc Intel dùng phương án CPU, Windows có thể dùng DirectML.
  • FFmpeg; trên Windows có thể đặt ffmpeg.exe và ffprobe.exe vào thư mục dự án.
  • Mô hình tải thủ công từ Hugging Face (hubert, rmvpe, pretrained...) và đặt đúng thư mục.

Hướng dẫn cài đặt chi tiết

Cài trên Windows

  1. Cài Python 3.12 x64, mở PowerShell trong thư mục dự án và tạo môi trường ảo.

    PowerShell
    py -3.12 -m venv .venv
    .venv\Scripts\activate
    python -m pip install --upgrade pip setuptools wheel
  2. Cài thư viện theo phần cứng. Ví dụ máy chỉ dùng CPU hoặc card AMD, Intel (README có file riêng cho NVIDIA CUDA 11.8 và 12.8, với bước cài PyTorch trước).

    PowerShell
    python -m pip install -r requirments_cpu_py312.txt
  3. Tải các mô hình cần thiết từ kho Hugging Face của dự án (lj1995/VoiceConversionWebUI) vào thư mục assets đúng cấu trúc README mô tả, rồi đặt ffmpeg.exe và ffprobe.exe vào thư mục gốc dự án.

Cài trên Linux (Ubuntu 24.04)

  1. Cài các gói hệ thống và tạo môi trường ảo theo README.

    Terminal
    sudo apt update
    sudo apt install -y python3.12 python3.12-venv python3.12-dev ffmpeg unzip libsndfile1 libportaudio2
    python3.12 -m venv .venv
    source .venv/bin/activate
    python -m pip install --upgrade pip setuptools wheel
  2. Cài thư viện theo phần cứng, rồi tải mô hình từ Hugging Face. Xem mục Môi trường và Mô hình trong README để lấy đúng lệnh và danh sách file.

    Terminal
    python -m pip install -r requirments_cpu_py312.txt

Dùng thử lần đầu

  1. Kiểm tra PyTorch có nhận card đồ hoạ chưa (nếu dùng NVIDIA) bằng lệnh kiểm tra trong README.

    Terminal
    python -c "import torch; print('torch:', torch.__version__); print('cuda available:', torch.cuda.is_available())"
  2. Khởi động giao diện web. README ghi dịch vụ lắng nghe ở cổng 7865.

    Terminal
    python webui.py
  3. Mở trình duyệt vào địa chỉ hiện trong Terminal. Đặt file mô hình giọng .pth vào thư mục assets/weights và file .index vào assets/indices theo README.

  4. Ở tab suy luận, chọn mô hình giọng, nạp file âm thanh nguồn của chính bạn và thử đổi giọng. Nghe kết quả rồi điều chỉnh cao độ nếu cần.

  5. Muốn tạo giọng mới, thu khoảng 10 phút giọng sạch (của bạn hoặc của người đồng ý), rồi làm theo tab huấn luyện.

Mẹo dùng hay

  • Dữ liệu huấn luyện càng sạch (ít tiếng ồn, ít vang) thì kết quả càng ổn; README khuyến nghị thu ít nhất khoảng 10 phút.
  • Máy chủ không có màn hình thì chạy với tuỳ chọn --noautoopen để không tự mở trình duyệt.
  • Chạy lệnh kiểm tra PyTorch trước khi huấn luyện để chắc đã dùng đúng CUDA.
  • Giữ đúng cấu trúc thư mục assets như README mô tả; sai đường dẫn là lỗi phổ biến nhất khi mới cài.

Lưu ý và hạn chế

  • Chuyển đổi giọng rất dễ bị lạm dụng để mạo danh, lừa đảo hoặc làm giả sản phẩm của nghệ sĩ. Chỉ dùng giọng của chính bạn hoặc người đã cho phép rõ ràng, không dùng giọng người nổi tiếng hay bài hát có bản quyền khi chưa được phép, và không đăng nội dung làm người khác hiểu lầm.
  • Cài đặt phức tạp và tài liệu chính viết bằng tiếng Trung. Cần sẵn sàng đọc hướng dẫn gốc và sửa lỗi môi trường.
  • Chất lượng giọng phụ thuộc mạnh vào dữ liệu huấn luyện; dữ liệu kém cho giọng méo, khàn hoặc rè.

Câu hỏi thường gặp

RVC có miễn phí không?

Có, mã nguồn dùng giấy phép MIT. README còn nói bộ mô hình nền được huấn luyện trên tập dữ liệu mở VCTK nên không có lo ngại bản quyền ở phần nền. Dữ liệu giọng và nội dung bạn đưa vào thì bạn tự chịu trách nhiệm.

Có khác gì giọng đọc văn bản (TTS)?

RVC đổi giọng của một đoạn âm thanh có sẵn (bạn nói hoặc hát) sang giọng khác, giữ nội dung và giai điệu. TTS như F5-TTS hay Kokoro tạo âm thanh từ văn bản.

Máy không có card NVIDIA có chạy được không?

README nêu AMD và Intel dùng phương án CPU, Windows có thể dùng DirectML, Linux dùng CPU. Huấn luyện sẽ chậm hơn nhiều so với card NVIDIA.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI.git

Repo tương tự nên xem

Giọng nói & âm thanh AI65,2K

GPT-SoVITS

RVC-Boss / GPT-SoVITS

Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ

VừaWindowsmacOSLinuxDocker+1
Giọng nói & âm thanh AI27,2K

Ultimate Vocal Remover (UVR)

Anjok07 / ultimatevocalremovergui

Phần mềm có giao diện tách giọng hát khỏi nhạc nền bằng AI, chạy ngay trên máy tính của bạn.

DễWindowsmacOSLinuxPython
Giọng nói & âm thanh AI38,3K

OpenVoice

myshell-ai / OpenVoice

Nhân bản âm sắc giọng nói từ một đoạn mẫu ngắn và cho đọc bằng nhiều ngôn ngữ, giấy phép MIT

KhóLinuxWindowsDockerPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Giọng nói & âm thanh AI

Giọng nói & âm thanh AI113K

Whisper

openai / whisper

Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI57,2K

VibeVoice

microsoft / VibeVoice

Bộ mô hình giọng nói của Microsoft: nhận dạng giọng nói dài 60 phút và đọc văn bản theo thời gian thực

KhóLinuxDockerPython
Giọng nói & âm thanh AI55,2K

whisper.cpp

ggml-org / whisper.cpp

Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python

KhóWindowsmacOSLinuxAndroid+2
Giọng nói & âm thanh AI40K

ChatTTS

2noise / ChatTTS

Mô hình đọc văn bản cho hội thoại, giọng tự nhiên có cả tiếng cười và quãng ngắt nghỉ

KhóWindowsLinuxmacOSPython
Giọng nói & âm thanh AI33,8K

Fish Speech

fishaudio / fish-speech

Mô hình đọc văn bản thành giọng nói, nhân bản giọng và điều khiển cảm xúc bằng thẻ trong câu.

KhóLinuxDockerPython
Giọng nói & âm thanh AI26,8K

faster-whisper

SYSTRAN / faster-whisper

Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.

VừaWindowsmacOSLinuxPython

Xem cả 20 repo Giọng nói & âm thanh AI Về Kho Repo