Chuyển đến nội dung

fishaudio / fish-speech

Fish Speech

Mô hình đọc văn bản thành giọng nói, nhân bản giọng và điều khiển cảm xúc bằng thẻ trong câu.

Fish Speech là bộ mã nguồn và mô hình giọng nói của Fish Audio, đọc văn bản thành tiếng, chia nhiều nhân vật trong một kịch bản và nhân bản giọng từ một đoạn mẫu ngắn. Hợp với người làm podcast, video, game hoặc lập trình viên cần dựng dịch vụ giọng nói riêng, nhưng đòi hỏi card đồ hoạ NVIDIA mạnh và giấy phép có điều kiện.

  • 33.752 sao
  • 2.946 fork
  • Python
  • Cập nhật 2 ngày trước
  • Giấy phép riêng, xem trên GitHub
Độ khó
Khó Dành cho người biết lập trình
Dạng
Mô hình AI, Dòng lệnh (CLI)
Chạy trên
Linux, Docker, Python
Chi phí
Miễn phí cho cá nhân

Trải nghiệm khi dùng Fish Speech

Hình dung bạn có một kịch bản podcast hai người nói chuyện. Bạn gõ lời thoại, đánh dấu ai nói câu nào, chèn thêm vài thẻ trong ngoặc vuông như thì thầm hay cười, rồi bấm tạo. Một lúc sau bạn nhận về file âm thanh có hai giọng khác nhau, ngắt nghỉ khá tự nhiên. Đó là kiểu việc mà Fish Speech hướng tới.

Muốn giọng giống một người cụ thể, bạn đưa vào một đoạn ghi âm mẫu dài khoảng 10 đến 30 giây (theo tài liệu của dòng S2-Pro) cùng lời của đoạn đó. Mô hình sẽ bắt chước âm sắc để đọc nội dung mới. Với dòng Drama 3 mới hơn, bạn còn có thể nhận xét lại bản vừa tạo, ví dụ yêu cầu nhẹ nhàng và buồn hơn, hoặc chỉ sửa một từ mà không phải đọc lại cả đoạn.

Phần cài đặt thì không dành cho người mới. Tài liệu chính thức yêu cầu Linux hoặc WSL (Linux chạy trong Windows), card NVIDIA có nhiều bộ nhớ, và vài bước tải trọng số mô hình. Cách thân thiện nhất là chạy bằng Docker rồi mở giao diện web đi kèm trên trình duyệt.

Tính năng nổi bật

Điều khiển cảm xúc bằng thẻ

Bạn chèn thẻ như thì thầm, tức giận, cười ngay trong câu để đổi cách đọc ở đúng chỗ muốn, không cần chỉnh thông số phức tạp.

Nhiều nhân vật trong một lần tạo

Một kịch bản có nhiều người nói được đọc liền mạch, không phải tạo từng giọng rồi ghép lại bằng tay.

Nhân bản giọng từ đoạn mẫu ngắn

Chỉ cần một đoạn ghi âm mẫu vài chục giây để mô hình học âm sắc và dùng cho nội dung mới.

Sửa lại và chỉnh từng chỗ (Drama 3)

Dòng mới cho phép nhận xét bản vừa tạo hoặc thay một từ mà phần xung quanh vẫn giữ nguyên giọng.

Máy chủ API và giao diện web

Chạy một lần là có máy chủ để ứng dụng khác gọi vào, kèm giao diện web trong bản Docker để thử trực tiếp trên trình duyệt.

Hỗ trợ nhiều ngôn ngữ

Dòng S2-Pro được mô tả là hỗ trợ khoảng một trăm ngôn ngữ. Chất lượng từng ngôn ngữ, gồm tiếng Việt, nên nghe thử trước khi dùng thật.

Tận dụng Fish Speech vào việc gì?

Người làm nội dung

Dựng podcast hoặc truyện audio nhiều nhân vật

Viết kịch bản có nhiều người nói, để mô hình đọc từng vai, rồi ghép vào phần mềm dựng âm thanh quen thuộc.

Chủ shop online, người làm YouTube

Lồng tiếng cho video giới thiệu sản phẩm

Chuyển lời thuyết minh thành giọng đọc có cảm xúc thay vì giọng robot đều đều.

Lập trình viên, người làm game độc lập

Làm giọng nhân vật cho game hoặc hoạt hình nhỏ

Gọi qua API để tạo thoại nhân vật theo kịch bản, kèm thẻ cảm xúc cho từng câu.

Đội kỹ thuật công ty

Dựng dịch vụ đọc văn bản cho nội bộ

Tự chạy máy chủ trên máy chủ GPU của mình để dữ liệu văn bản không phải gửi ra dịch vụ ngoài.

Cần chuẩn bị gì?

  • Hệ điều hành Linux hoặc WSL (theo tài liệu cài đặt chính thức).
  • Card NVIDIA: Drama 3 cần ít nhất 48 GB bộ nhớ GPU (FP8); S2-Pro cần ít nhất 24 GB và còn có thể chạy bằng CPU, chậm hơn nhiều.
  • Python 3.12 (conda hoặc uv), ffmpeg và vài thư viện âm thanh hệ thống.
  • Dung lượng ổ cứng cho trọng số mô hình tải từ Hugging Face.

Hướng dẫn cài đặt chi tiết

Cài trên Docker

  1. Cài Docker và NVIDIA Container Toolkit trên máy Linux có card NVIDIA. Sau đó tải trọng số mô hình S2-Pro về thư mục checkpoints (cần công cụ dòng lệnh của Hugging Face).

    Terminal
    pip install -U "huggingface_hub[cli]"
    hf download fishaudio/s2-pro --local-dir checkpoints/s2-pro
  2. Chạy máy chủ bằng image chính thức. Lệnh dưới mở cổng 8080 và nạp mô hình S2-Pro.

    Terminal
    docker run --gpus all \
        -v ./checkpoints:/app/checkpoints \
        -e LLAMA_CHECKPOINT_PATH=checkpoints/s2-pro \
        -e DECODER_CHECKPOINT_PATH=checkpoints/s2-pro/codec.pth \
        -p 8080:8080 \
        fishaudio/fish-speech:server-cuda
  3. Khi container đã chạy, mở trình duyệt vào địa chỉ giao diện web đi kèm.

    Văn bản
    http://localhost:8080/ui
  4. Muốn dùng Drama 3 thì tải thêm trọng số fishaudio/drama-3, trỏ LLAMA_CHECKPOINT_PATH sang checkpoints/drama-3 và nhớ card cần từ 48 GB bộ nhớ. Chi tiết xem trang cài đặt chính thức tại speech.fish.audio/install.

Cài trên Cài từ mã nguồn (conda)

  1. Cài thư viện âm thanh hệ thống trên Ubuntu hoặc Debian (hoặc trong WSL).

    Terminal
    apt install portaudio19-dev libsox-dev ffmpeg
  2. Clone repo rồi tạo môi trường conda Python 3.12.

    Terminal
    git clone https://github.com/fishaudio/fish-speech.git
    cd fish-speech
    conda create -n fish-speech python=3.12
    conda activate fish-speech
  3. Cài bản GPU. Thay cu129 bằng cu126 hoặc cu128 nếu driver của bạn cần phiên bản CUDA cũ hơn (thay ở cả hai chỗ).

    Terminal
    pip install --extra-index-url https://download.pytorch.org/whl/cu129 -e ".[cu129]"
  4. Tải trọng số S2-Pro, sau đó khởi động máy chủ API.

    Terminal
    hf download fishaudio/s2-pro --local-dir checkpoints/s2-pro
    python tools/api_server.py \
        --listen 0.0.0.0:8080 \
        --llama-checkpoint-path checkpoints/s2-pro \
        --decoder-checkpoint-path checkpoints/s2-pro/codec.pth \
        --decoder-config-name modded_dac_vq

Dùng thử lần đầu

  1. Sau khi máy chủ chạy, mở giao diện web ở địa chỉ dưới (có sẵn trong image Docker) trên cùng máy.

    Văn bản
    http://localhost:8080/ui
  2. Dán một đoạn văn ngắn khoảng 2 đến 3 câu và bấm tạo để nghe giọng mặc định. Nếu chưa đưa giọng mẫu, mô hình sẽ tự chọn một âm sắc.

  3. Thử thêm thẻ cảm xúc vào giữa câu, ví dụ thẻ thì thầm hoặc phấn khích đặt trước một cụm từ, rồi nghe sự khác biệt.

  4. Thử nhân bản giọng của chính bạn: ghi một đoạn nói khoảng 10 đến 30 giây, nhập kèm lời của đoạn đó làm văn bản mẫu rồi tạo câu mới.

  5. Cần tích hợp vào ứng dụng khác thì xem trang inference trong tài liệu để biết cách gọi API và đặt khoá bảo vệ (--api-key).

Mẹo dùng hay

  • Nếu chỉ có card từ 24 GB, hãy chọn S2-Pro thay vì Drama 3. Drama 3 cần ít nhất 48 GB bộ nhớ GPU theo tài liệu.
  • README khuyên dùng SGLang-Omni hoặc vLLM Omni khi bạn quan tâm hiệu năng phục vụ nhiều người; đây là hướng dành cho đội kỹ thuật, không phải cho thử nghiệm cá nhân.
  • Đoạn giọng mẫu càng sạch, ít tạp âm thì kết quả nhân bản càng dễ tốt hơn. Đây là lời khuyên chung với mọi mô hình nhân bản giọng, không phải số liệu từ tài liệu.

Lưu ý và hạn chế

  • Giấy phép là Fish Audio Community License, không phải MIT hay Apache. Dùng nghiên cứu và phi thương mại thì miễn phí; dùng thương mại có điều kiện (có ngưỡng doanh thu), và dịch vụ cung cấp mô hình dưới dạng dịch vụ có điều khoản riêng. Trọng số S2-Pro còn nằm dưới Fish Audio Research License. Hãy đọc kỹ file LICENSE trước khi kiếm tiền từ nó.
  • Nhân bản giọng có thể bị lạm dụng để giả danh. Chỉ dùng giọng của chính bạn hoặc của người đã đồng ý rõ ràng, và đừng dùng để lừa đảo hay tạo nội dung gây hiểu lầm. README cũng nói tác giả không chịu trách nhiệm với việc dùng sai luật.
  • Yêu cầu phần cứng cao và hướng dẫn chính thức chỉ nói Linux hoặc WSL, nên máy văn phòng thông thường khó chạy được. Nếu chỉ cần giọng đọc đơn giản, cân nhắc công cụ nhẹ hơn trong cùng thư viện này.

Câu hỏi thường gặp

Fish Speech có đọc được tiếng Việt không?

README cho biết dòng S2-Pro hỗ trợ khoảng một trăm ngôn ngữ, nhưng không có bảng đánh giá riêng cho tiếng Việt. Bạn nên nghe thử bằng đoạn văn của mình trước khi chọn dùng chính thức.

Máy không có card NVIDIA thì sao?

S2-Pro có thể chạy bằng CPU theo tài liệu nhưng rất chậm. Drama 3 chỉ chạy trên card NVIDIA và không hỗ trợ CPU, Apple MPS hay AMD ROCm.

Dùng giọng tạo ra để kiếm tiền có được không?

Giấy phép cho phép dùng thương mại trong một số điều kiện, có ngưỡng doanh thu và hạn chế với dịch vụ cung cấp lại mô hình. Đọc kỹ file LICENSE hoặc liên hệ Fish Audio nếu dự án của bạn mang tính thương mại.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/fishaudio/fish-speech.git

Repo tương tự nên xem

Giọng nói & âm thanh AI15,6K

F5-TTS

SWivid / F5-TTS

Bắt chước giọng nói từ vài giây âm thanh mẫu rồi đọc văn bản mới bằng giọng đó

KhóWindowsLinuxDockerPython
Giọng nói & âm thanh AI65,2K

GPT-SoVITS

RVC-Boss / GPT-SoVITS

Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ

VừaWindowsmacOSLinuxDocker+1

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Giọng nói & âm thanh AI

Giọng nói & âm thanh AI113K

Whisper

openai / whisper

Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI57,2K

VibeVoice

microsoft / VibeVoice

Bộ mô hình giọng nói của Microsoft: nhận dạng giọng nói dài 60 phút và đọc văn bản theo thời gian thực

KhóLinuxDockerPython
Giọng nói & âm thanh AI55,2K

whisper.cpp

ggml-org / whisper.cpp

Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python

KhóWindowsmacOSLinuxAndroid+2
Giọng nói & âm thanh AI40K

ChatTTS

2noise / ChatTTS

Mô hình đọc văn bản cho hội thoại, giọng tự nhiên có cả tiếng cười và quãng ngắt nghỉ

KhóWindowsLinuxmacOSPython
Giọng nói & âm thanh AI39,3K

RVC (Retrieval-based Voice Conversion WebUI)

RVC-Project / Retrieval-based-Voice-Conversion-WebUI

Đổi giọng nói thành giọng khác chỉ cần khoảng 10 phút dữ liệu để huấn luyện, có giao diện web

KhóWindowsLinuxPython
Giọng nói & âm thanh AI38,3K

OpenVoice

myshell-ai / OpenVoice

Nhân bản âm sắc giọng nói từ một đoạn mẫu ngắn và cho đọc bằng nhiều ngôn ngữ, giấy phép MIT

KhóLinuxWindowsDockerPython

Xem cả 20 repo Giọng nói & âm thanh AI Về Kho Repo