Chuyển đến nội dung

QwenAudio / CosyVoice

CosyVoice

Mô hình đọc văn bản đa ngôn ngữ của Alibaba, nhân bản giọng, hỗ trợ nhiều phương ngữ Trung Quốc.

CosyVoice (nay có bản Fun-CosyVoice 3.0) là hệ thống text-to-speech dựa trên mô hình ngôn ngữ lớn, đọc 9 ngôn ngữ phổ biến cùng hơn 18 phương ngữ tiếng Trung, nhân bản giọng và có thể trả âm thanh gần như thời gian thực. Dành cho lập trình viên và người làm giọng nói muốn tự chạy, cần Python, conda và tải mô hình thủ công.

  • 24.420 sao
  • 2.785 fork
  • Python
  • Cập nhật 5 tháng trước
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Mô hình AI, Thư viện lập trình
Chạy trên
Linux, Docker, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng CosyVoice

Quy trình thường là: clone repo, tạo môi trường conda, cài thư viện, tải mô hình về thư mục pretrained_models, rồi chạy file example.py. File đó chứa các ví dụ gọi từng loại mô hình để bạn thấy cách đọc chữ, nhân bản giọng và dùng chỉ dẫn.

Nếu bạn muốn xem nhanh trước khi cài, README trỏ tới trang demo và không gian chạy thử trên ModelScope. Còn nếu muốn giao diện web riêng, có lệnh webui.py kèm mô hình đã tải.

Mô hình mới nhất Fun-CosyVoice3-0.5B được README khuyên dùng. Nó nhận chỉ dẫn như ngôn ngữ, phương ngữ, cảm xúc, tốc độ và âm lượng, đọc được cả số và ký hiệu mà không cần module chuẩn hoá chữ riêng. Tiếng Việt không có trong danh sách ngôn ngữ chính.

Tính năng nổi bật

Đa ngôn ngữ và phương ngữ

Chín ngôn ngữ phổ biến (Trung, Anh, Nhật, Hàn, Đức, Tây Ban Nha, Pháp, Ý, Nga) và hơn 18 giọng địa phương tiếng Trung.

Nhân bản giọng zero-shot

Đưa một đoạn mẫu, mô hình đọc nội dung mới bằng giọng tương tự mà không cần huấn luyện lại.

Chỉ dẫn bằng lời

Mô tả bằng chỉ dẫn như ngôn ngữ, phương ngữ, cảm xúc, tốc độ, âm lượng để điều khiển cách đọc.

Truyền phát hai chiều

Hỗ trợ nhập chữ và xuất tiếng theo luồng, README nói độ trễ có thể thấp tới khoảng 150 mili giây.

Sửa phát âm

Cho phép chèn pinyin hoặc âm vị CMU để sửa những từ đọc sai.

Có đường triển khai dịch vụ

README có hướng dẫn chạy máy chủ bằng Docker với FastAPI hoặc gRPC, và tăng tốc bằng vLLM hoặc TensorRT-LLM.

Tận dụng CosyVoice vào việc gì?

Người làm nội dung quốc tế

Làm giọng đọc đa ngôn ngữ cho video

Tạo lời bình bằng tiếng Trung, Anh, Nhật hoặc Hàn với giọng nhất quán.

Lập trình viên

Làm trợ lý giọng nói phản hồi nhanh

Dùng chế độ truyền phát để trả lời bằng giọng nói ngay khi mô hình ngôn ngữ còn đang sinh chữ.

Người làm media địa phương

Lồng tiếng nội dung vùng miền

Thử đọc bằng giọng địa phương Trung Quốc như Tứ Xuyên hay Quảng Đông trong các dự án liên quan.

Sinh viên, kỹ sư

Nghiên cứu và học AI giọng nói

Đọc mã huấn luyện (examples/libritts) và so sánh các phiên bản mô hình.

Cần chuẩn bị gì?

  • Conda và Python 3.10 (theo hướng dẫn trong README).
  • Linux là môi trường được hướng dẫn rõ nhất; một số gói như sox cài bằng apt hoặc yum.
  • Card NVIDIA cho tốc độ tốt và để dùng vLLM hoặc Docker với runtime nvidia; README không ghi VRAM tối thiểu.
  • Nhiều GB ổ cứng để tải mô hình từ ModelScope hoặc Hugging Face.

Hướng dẫn cài đặt chi tiết

Cài trên Conda (Linux)

  1. Clone repo kèm submodule. Nếu submodule tải lỗi vì mạng, chạy lại lệnh cập nhật cho đến khi xong.

    Terminal
    git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
    cd CosyVoice
    git submodule update --init --recursive
  2. Tạo môi trường conda Python 3.10 và cài thư viện. README dùng mirror Aliyun cho người ở Trung Quốc; ở Việt Nam bạn có thể bỏ phần -i nếu muốn dùng PyPI mặc định.

    Terminal
    conda create -n cosyvoice -y python=3.10
    conda activate cosyvoice
    pip install -r requirements.txt
  3. Nếu gặp lỗi sox, cài thêm gói hệ thống (Ubuntu).

    Terminal
    sudo apt-get install sox libsox-dev
  4. Tải mô hình khuyến nghị Fun-CosyVoice3-0.5B bằng Python (dùng Hugging Face nếu ở ngoài Trung Quốc).

    Python
    from huggingface_hub import snapshot_download
    snapshot_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512', local_dir='pretrained_models/Fun-CosyVoice3-0.5B')

Cài trên Docker (máy chủ)

  1. Vào thư mục runtime/python rồi build image. Cần NVIDIA Container Toolkit nếu muốn dùng GPU.

    Terminal
    cd runtime/python
    docker build -t cosyvoice:v1.0 .
  2. Chạy máy chủ FastAPI theo mẫu trong README (đổi thư mục mô hình theo mô hình bạn dùng). Chi tiết tham số xem phần Build for deployment của README.

Dùng thử lần đầu

  1. Sau khi tải mô hình, chạy file ví dụ có sẵn trong repo để nghe các cách dùng khác nhau.

    Terminal
    python example.py
  2. Mở file example.py, xem đoạn dùng Fun-CosyVoice3 và thử đổi câu chữ cần đọc, đổi file giọng mẫu sang một đoạn của bạn.

  3. Muốn thử bằng trang web, chạy webui với thư mục mô hình bạn đã tải, rồi mở trình duyệt vào cổng 50000 trên máy mình. Lệnh dưới là mẫu của README cho mô hình CosyVoice-300M; mô hình nào chạy webui thì xem demo trong repo.

    Terminal
    python3 webui.py --port 50000 --model_dir pretrained_models/CosyVoice-300M
  4. Nếu chỉ muốn nghe thử không cài, mở trang demo hoặc không gian ModelScope được README liên kết tới.

Mẹo dùng hay

  • Mô hình README khuyên dùng là Fun-CosyVoice3-0.5B. Bắt đầu từ đó thay vì các bản 300M đời đầu.
  • Có thể cài thêm gói ttsfrd để chuẩn hoá chữ tốt hơn, nhưng README nói không bắt buộc vì nếu thiếu sẽ dùng wetext.
  • Muốn dùng vLLM, README khuyên tạo một môi trường conda riêng (clone từ môi trường cũ) để tránh làm hỏng môi trường đang chạy tốt.

Lưu ý và hạn chế

  • Tiếng Việt không nằm trong danh sách ngôn ngữ của README, chủ yếu hướng tới tiếng Trung và vài ngôn ngữ lớn khác.
  • Hướng dẫn cài nghiêng về Linux, chưa có hướng dẫn riêng cho Windows hay macOS, và nhiều lệnh dùng mirror ở Trung Quốc.
  • Nhân bản giọng có thể bị lạm dụng để mạo danh. Chỉ dùng giọng của mình hoặc của người đồng ý, đừng tạo nội dung đánh lừa.

Câu hỏi thường gặp

CosyVoice có hỗ trợ tiếng Việt không?

README liệt kê chín ngôn ngữ phổ biến gồm Trung, Anh, Nhật, Hàn, Đức, Tây Ban Nha, Pháp, Ý và Nga, không có tiếng Việt. Bạn nên tự nghe thử trước khi dùng.

Giấy phép ra sao?

Mã nguồn theo Apache 2.0. Mô hình tải riêng nên hãy xem thẻ mô hình trên ModelScope hoặc Hugging Face trước khi dùng thương mại.

Có chạy được trên Windows không?

README chỉ hướng dẫn rõ cho Linux, còn Windows và macOS không có hướng dẫn chính thức. Dùng WSL hoặc Docker là hướng thực tế hơn.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/QwenAudio/CosyVoice.git

Repo tương tự nên xem

Giọng nói & âm thanh AI25,1K

IndexTTS

index-tts / index-tts

Mô hình nhân bản giọng từ một đoạn mẫu, điều khiển cảm xúc, tốc độ và cách phát âm.

KhóWindowsLinuxPython
Giọng nói & âm thanh AI15,6K

F5-TTS

SWivid / F5-TTS

Bắt chước giọng nói từ vài giây âm thanh mẫu rồi đọc văn bản mới bằng giọng đó

KhóWindowsLinuxDockerPython
Giọng nói & âm thanh AI33,8K

Fish Speech

fishaudio / fish-speech

Mô hình đọc văn bản thành giọng nói, nhân bản giọng và điều khiển cảm xúc bằng thẻ trong câu.

KhóLinuxDockerPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Giọng nói & âm thanh AI

Giọng nói & âm thanh AI113K

Whisper

openai / whisper

Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI65,2K

GPT-SoVITS

RVC-Boss / GPT-SoVITS

Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ

VừaWindowsmacOSLinuxDocker+1
Giọng nói & âm thanh AI57,2K

VibeVoice

microsoft / VibeVoice

Bộ mô hình giọng nói của Microsoft: nhận dạng giọng nói dài 60 phút và đọc văn bản theo thời gian thực

KhóLinuxDockerPython
Giọng nói & âm thanh AI55,2K

whisper.cpp

ggml-org / whisper.cpp

Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python

KhóWindowsmacOSLinuxAndroid+2
Giọng nói & âm thanh AI40K

ChatTTS

2noise / ChatTTS

Mô hình đọc văn bản cho hội thoại, giọng tự nhiên có cả tiếng cười và quãng ngắt nghỉ

KhóWindowsLinuxmacOSPython
Giọng nói & âm thanh AI39,3K

RVC (Retrieval-based Voice Conversion WebUI)

RVC-Project / Retrieval-based-Voice-Conversion-WebUI

Đổi giọng nói thành giọng khác chỉ cần khoảng 10 phút dữ liệu để huấn luyện, có giao diện web

KhóWindowsLinuxPython

Xem cả 20 repo Giọng nói & âm thanh AI Về Kho Repo