Trải nghiệm khi dùng CosyVoice
Quy trình thường là: clone repo, tạo môi trường conda, cài thư viện, tải mô hình về thư mục pretrained_models, rồi chạy file example.py. File đó chứa các ví dụ gọi từng loại mô hình để bạn thấy cách đọc chữ, nhân bản giọng và dùng chỉ dẫn.
Nếu bạn muốn xem nhanh trước khi cài, README trỏ tới trang demo và không gian chạy thử trên ModelScope. Còn nếu muốn giao diện web riêng, có lệnh webui.py kèm mô hình đã tải.
Mô hình mới nhất Fun-CosyVoice3-0.5B được README khuyên dùng. Nó nhận chỉ dẫn như ngôn ngữ, phương ngữ, cảm xúc, tốc độ và âm lượng, đọc được cả số và ký hiệu mà không cần module chuẩn hoá chữ riêng. Tiếng Việt không có trong danh sách ngôn ngữ chính.
Tính năng nổi bật
Đa ngôn ngữ và phương ngữ
Chín ngôn ngữ phổ biến (Trung, Anh, Nhật, Hàn, Đức, Tây Ban Nha, Pháp, Ý, Nga) và hơn 18 giọng địa phương tiếng Trung.
Nhân bản giọng zero-shot
Đưa một đoạn mẫu, mô hình đọc nội dung mới bằng giọng tương tự mà không cần huấn luyện lại.
Chỉ dẫn bằng lời
Mô tả bằng chỉ dẫn như ngôn ngữ, phương ngữ, cảm xúc, tốc độ, âm lượng để điều khiển cách đọc.
Truyền phát hai chiều
Hỗ trợ nhập chữ và xuất tiếng theo luồng, README nói độ trễ có thể thấp tới khoảng 150 mili giây.
Sửa phát âm
Cho phép chèn pinyin hoặc âm vị CMU để sửa những từ đọc sai.
Có đường triển khai dịch vụ
README có hướng dẫn chạy máy chủ bằng Docker với FastAPI hoặc gRPC, và tăng tốc bằng vLLM hoặc TensorRT-LLM.
Tận dụng CosyVoice vào việc gì?
Người làm nội dung quốc tế
Làm giọng đọc đa ngôn ngữ cho video
Tạo lời bình bằng tiếng Trung, Anh, Nhật hoặc Hàn với giọng nhất quán.
Lập trình viên
Làm trợ lý giọng nói phản hồi nhanh
Dùng chế độ truyền phát để trả lời bằng giọng nói ngay khi mô hình ngôn ngữ còn đang sinh chữ.
Người làm media địa phương
Lồng tiếng nội dung vùng miền
Thử đọc bằng giọng địa phương Trung Quốc như Tứ Xuyên hay Quảng Đông trong các dự án liên quan.
Sinh viên, kỹ sư
Nghiên cứu và học AI giọng nói
Đọc mã huấn luyện (examples/libritts) và so sánh các phiên bản mô hình.
Cần chuẩn bị gì?
- Conda và Python 3.10 (theo hướng dẫn trong README).
- Linux là môi trường được hướng dẫn rõ nhất; một số gói như sox cài bằng apt hoặc yum.
- Card NVIDIA cho tốc độ tốt và để dùng vLLM hoặc Docker với runtime nvidia; README không ghi VRAM tối thiểu.
- Nhiều GB ổ cứng để tải mô hình từ ModelScope hoặc Hugging Face.
Hướng dẫn cài đặt chi tiết
Cài trên Conda (Linux)
Clone repo kèm submodule. Nếu submodule tải lỗi vì mạng, chạy lại lệnh cập nhật cho đến khi xong.
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git cd CosyVoice git submodule update --init --recursiveTạo môi trường conda Python 3.10 và cài thư viện. README dùng mirror Aliyun cho người ở Trung Quốc; ở Việt Nam bạn có thể bỏ phần -i nếu muốn dùng PyPI mặc định.
conda create -n cosyvoice -y python=3.10 conda activate cosyvoice pip install -r requirements.txtNếu gặp lỗi sox, cài thêm gói hệ thống (Ubuntu).
sudo apt-get install sox libsox-devTải mô hình khuyến nghị Fun-CosyVoice3-0.5B bằng Python (dùng Hugging Face nếu ở ngoài Trung Quốc).
from huggingface_hub import snapshot_download snapshot_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512', local_dir='pretrained_models/Fun-CosyVoice3-0.5B')
Cài trên Docker (máy chủ)
Vào thư mục runtime/python rồi build image. Cần NVIDIA Container Toolkit nếu muốn dùng GPU.
cd runtime/python docker build -t cosyvoice:v1.0 .Chạy máy chủ FastAPI theo mẫu trong README (đổi thư mục mô hình theo mô hình bạn dùng). Chi tiết tham số xem phần Build for deployment của README.
Dùng thử lần đầu
Sau khi tải mô hình, chạy file ví dụ có sẵn trong repo để nghe các cách dùng khác nhau.
python example.pyMở file example.py, xem đoạn dùng Fun-CosyVoice3 và thử đổi câu chữ cần đọc, đổi file giọng mẫu sang một đoạn của bạn.
Muốn thử bằng trang web, chạy webui với thư mục mô hình bạn đã tải, rồi mở trình duyệt vào cổng 50000 trên máy mình. Lệnh dưới là mẫu của README cho mô hình CosyVoice-300M; mô hình nào chạy webui thì xem demo trong repo.
python3 webui.py --port 50000 --model_dir pretrained_models/CosyVoice-300MNếu chỉ muốn nghe thử không cài, mở trang demo hoặc không gian ModelScope được README liên kết tới.
Mẹo dùng hay
- Mô hình README khuyên dùng là Fun-CosyVoice3-0.5B. Bắt đầu từ đó thay vì các bản 300M đời đầu.
- Có thể cài thêm gói ttsfrd để chuẩn hoá chữ tốt hơn, nhưng README nói không bắt buộc vì nếu thiếu sẽ dùng wetext.
- Muốn dùng vLLM, README khuyên tạo một môi trường conda riêng (clone từ môi trường cũ) để tránh làm hỏng môi trường đang chạy tốt.
Lưu ý và hạn chế
- Tiếng Việt không nằm trong danh sách ngôn ngữ của README, chủ yếu hướng tới tiếng Trung và vài ngôn ngữ lớn khác.
- Hướng dẫn cài nghiêng về Linux, chưa có hướng dẫn riêng cho Windows hay macOS, và nhiều lệnh dùng mirror ở Trung Quốc.
- Nhân bản giọng có thể bị lạm dụng để mạo danh. Chỉ dùng giọng của mình hoặc của người đồng ý, đừng tạo nội dung đánh lừa.
Câu hỏi thường gặp
CosyVoice có hỗ trợ tiếng Việt không?
README liệt kê chín ngôn ngữ phổ biến gồm Trung, Anh, Nhật, Hàn, Đức, Tây Ban Nha, Pháp, Ý và Nga, không có tiếng Việt. Bạn nên tự nghe thử trước khi dùng.
Giấy phép ra sao?
Mã nguồn theo Apache 2.0. Mô hình tải riêng nên hãy xem thẻ mô hình trên ModelScope hoặc Hugging Face trước khi dùng thương mại.
Có chạy được trên Windows không?
README chỉ hướng dẫn rõ cho Linux, còn Windows và macOS không có hướng dẫn chính thức. Dùng WSL hoặc Docker là hướng thực tế hơn.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/QwenAudio/CosyVoice.gitRepo tương tự nên xem
IndexTTS
index-tts / index-tts
Mô hình nhân bản giọng từ một đoạn mẫu, điều khiển cảm xúc, tốc độ và cách phát âm.
F5-TTS
SWivid / F5-TTS
Bắt chước giọng nói từ vài giây âm thanh mẫu rồi đọc văn bản mới bằng giọng đó
Fish Speech
fishaudio / fish-speech
Mô hình đọc văn bản thành giọng nói, nhân bản giọng và điều khiển cảm xúc bằng thẻ trong câu.