Trải nghiệm khi dùng Fish Speech
Hình dung bạn có một kịch bản podcast hai người nói chuyện. Bạn gõ lời thoại, đánh dấu ai nói câu nào, chèn thêm vài thẻ trong ngoặc vuông như thì thầm hay cười, rồi bấm tạo. Một lúc sau bạn nhận về file âm thanh có hai giọng khác nhau, ngắt nghỉ khá tự nhiên. Đó là kiểu việc mà Fish Speech hướng tới.
Muốn giọng giống một người cụ thể, bạn đưa vào một đoạn ghi âm mẫu dài khoảng 10 đến 30 giây (theo tài liệu của dòng S2-Pro) cùng lời của đoạn đó. Mô hình sẽ bắt chước âm sắc để đọc nội dung mới. Với dòng Drama 3 mới hơn, bạn còn có thể nhận xét lại bản vừa tạo, ví dụ yêu cầu nhẹ nhàng và buồn hơn, hoặc chỉ sửa một từ mà không phải đọc lại cả đoạn.
Phần cài đặt thì không dành cho người mới. Tài liệu chính thức yêu cầu Linux hoặc WSL (Linux chạy trong Windows), card NVIDIA có nhiều bộ nhớ, và vài bước tải trọng số mô hình. Cách thân thiện nhất là chạy bằng Docker rồi mở giao diện web đi kèm trên trình duyệt.
Tính năng nổi bật
Điều khiển cảm xúc bằng thẻ
Bạn chèn thẻ như thì thầm, tức giận, cười ngay trong câu để đổi cách đọc ở đúng chỗ muốn, không cần chỉnh thông số phức tạp.
Nhiều nhân vật trong một lần tạo
Một kịch bản có nhiều người nói được đọc liền mạch, không phải tạo từng giọng rồi ghép lại bằng tay.
Nhân bản giọng từ đoạn mẫu ngắn
Chỉ cần một đoạn ghi âm mẫu vài chục giây để mô hình học âm sắc và dùng cho nội dung mới.
Sửa lại và chỉnh từng chỗ (Drama 3)
Dòng mới cho phép nhận xét bản vừa tạo hoặc thay một từ mà phần xung quanh vẫn giữ nguyên giọng.
Máy chủ API và giao diện web
Chạy một lần là có máy chủ để ứng dụng khác gọi vào, kèm giao diện web trong bản Docker để thử trực tiếp trên trình duyệt.
Hỗ trợ nhiều ngôn ngữ
Dòng S2-Pro được mô tả là hỗ trợ khoảng một trăm ngôn ngữ. Chất lượng từng ngôn ngữ, gồm tiếng Việt, nên nghe thử trước khi dùng thật.
Tận dụng Fish Speech vào việc gì?
Người làm nội dung
Dựng podcast hoặc truyện audio nhiều nhân vật
Viết kịch bản có nhiều người nói, để mô hình đọc từng vai, rồi ghép vào phần mềm dựng âm thanh quen thuộc.
Chủ shop online, người làm YouTube
Lồng tiếng cho video giới thiệu sản phẩm
Chuyển lời thuyết minh thành giọng đọc có cảm xúc thay vì giọng robot đều đều.
Lập trình viên, người làm game độc lập
Làm giọng nhân vật cho game hoặc hoạt hình nhỏ
Gọi qua API để tạo thoại nhân vật theo kịch bản, kèm thẻ cảm xúc cho từng câu.
Đội kỹ thuật công ty
Dựng dịch vụ đọc văn bản cho nội bộ
Tự chạy máy chủ trên máy chủ GPU của mình để dữ liệu văn bản không phải gửi ra dịch vụ ngoài.
Cần chuẩn bị gì?
- Hệ điều hành Linux hoặc WSL (theo tài liệu cài đặt chính thức).
- Card NVIDIA: Drama 3 cần ít nhất 48 GB bộ nhớ GPU (FP8); S2-Pro cần ít nhất 24 GB và còn có thể chạy bằng CPU, chậm hơn nhiều.
- Python 3.12 (conda hoặc uv), ffmpeg và vài thư viện âm thanh hệ thống.
- Dung lượng ổ cứng cho trọng số mô hình tải từ Hugging Face.
Hướng dẫn cài đặt chi tiết
Cài trên Docker
Cài Docker và NVIDIA Container Toolkit trên máy Linux có card NVIDIA. Sau đó tải trọng số mô hình S2-Pro về thư mục checkpoints (cần công cụ dòng lệnh của Hugging Face).
pip install -U "huggingface_hub[cli]" hf download fishaudio/s2-pro --local-dir checkpoints/s2-proChạy máy chủ bằng image chính thức. Lệnh dưới mở cổng 8080 và nạp mô hình S2-Pro.
docker run --gpus all \ -v ./checkpoints:/app/checkpoints \ -e LLAMA_CHECKPOINT_PATH=checkpoints/s2-pro \ -e DECODER_CHECKPOINT_PATH=checkpoints/s2-pro/codec.pth \ -p 8080:8080 \ fishaudio/fish-speech:server-cudaKhi container đã chạy, mở trình duyệt vào địa chỉ giao diện web đi kèm.
http://localhost:8080/uiMuốn dùng Drama 3 thì tải thêm trọng số fishaudio/drama-3, trỏ LLAMA_CHECKPOINT_PATH sang checkpoints/drama-3 và nhớ card cần từ 48 GB bộ nhớ. Chi tiết xem trang cài đặt chính thức tại speech.fish.audio/install.
Cài trên Cài từ mã nguồn (conda)
Cài thư viện âm thanh hệ thống trên Ubuntu hoặc Debian (hoặc trong WSL).
apt install portaudio19-dev libsox-dev ffmpegClone repo rồi tạo môi trường conda Python 3.12.
git clone https://github.com/fishaudio/fish-speech.git cd fish-speech conda create -n fish-speech python=3.12 conda activate fish-speechCài bản GPU. Thay cu129 bằng cu126 hoặc cu128 nếu driver của bạn cần phiên bản CUDA cũ hơn (thay ở cả hai chỗ).
pip install --extra-index-url https://download.pytorch.org/whl/cu129 -e ".[cu129]"Tải trọng số S2-Pro, sau đó khởi động máy chủ API.
hf download fishaudio/s2-pro --local-dir checkpoints/s2-pro python tools/api_server.py \ --listen 0.0.0.0:8080 \ --llama-checkpoint-path checkpoints/s2-pro \ --decoder-checkpoint-path checkpoints/s2-pro/codec.pth \ --decoder-config-name modded_dac_vq
Dùng thử lần đầu
Sau khi máy chủ chạy, mở giao diện web ở địa chỉ dưới (có sẵn trong image Docker) trên cùng máy.
http://localhost:8080/uiDán một đoạn văn ngắn khoảng 2 đến 3 câu và bấm tạo để nghe giọng mặc định. Nếu chưa đưa giọng mẫu, mô hình sẽ tự chọn một âm sắc.
Thử thêm thẻ cảm xúc vào giữa câu, ví dụ thẻ thì thầm hoặc phấn khích đặt trước một cụm từ, rồi nghe sự khác biệt.
Thử nhân bản giọng của chính bạn: ghi một đoạn nói khoảng 10 đến 30 giây, nhập kèm lời của đoạn đó làm văn bản mẫu rồi tạo câu mới.
Cần tích hợp vào ứng dụng khác thì xem trang inference trong tài liệu để biết cách gọi API và đặt khoá bảo vệ (--api-key).
Mẹo dùng hay
- Nếu chỉ có card từ 24 GB, hãy chọn S2-Pro thay vì Drama 3. Drama 3 cần ít nhất 48 GB bộ nhớ GPU theo tài liệu.
- README khuyên dùng SGLang-Omni hoặc vLLM Omni khi bạn quan tâm hiệu năng phục vụ nhiều người; đây là hướng dành cho đội kỹ thuật, không phải cho thử nghiệm cá nhân.
- Đoạn giọng mẫu càng sạch, ít tạp âm thì kết quả nhân bản càng dễ tốt hơn. Đây là lời khuyên chung với mọi mô hình nhân bản giọng, không phải số liệu từ tài liệu.
Lưu ý và hạn chế
- Giấy phép là Fish Audio Community License, không phải MIT hay Apache. Dùng nghiên cứu và phi thương mại thì miễn phí; dùng thương mại có điều kiện (có ngưỡng doanh thu), và dịch vụ cung cấp mô hình dưới dạng dịch vụ có điều khoản riêng. Trọng số S2-Pro còn nằm dưới Fish Audio Research License. Hãy đọc kỹ file LICENSE trước khi kiếm tiền từ nó.
- Nhân bản giọng có thể bị lạm dụng để giả danh. Chỉ dùng giọng của chính bạn hoặc của người đã đồng ý rõ ràng, và đừng dùng để lừa đảo hay tạo nội dung gây hiểu lầm. README cũng nói tác giả không chịu trách nhiệm với việc dùng sai luật.
- Yêu cầu phần cứng cao và hướng dẫn chính thức chỉ nói Linux hoặc WSL, nên máy văn phòng thông thường khó chạy được. Nếu chỉ cần giọng đọc đơn giản, cân nhắc công cụ nhẹ hơn trong cùng thư viện này.
Câu hỏi thường gặp
Fish Speech có đọc được tiếng Việt không?
README cho biết dòng S2-Pro hỗ trợ khoảng một trăm ngôn ngữ, nhưng không có bảng đánh giá riêng cho tiếng Việt. Bạn nên nghe thử bằng đoạn văn của mình trước khi chọn dùng chính thức.
Máy không có card NVIDIA thì sao?
S2-Pro có thể chạy bằng CPU theo tài liệu nhưng rất chậm. Drama 3 chỉ chạy trên card NVIDIA và không hỗ trợ CPU, Apple MPS hay AMD ROCm.
Dùng giọng tạo ra để kiếm tiền có được không?
Giấy phép cho phép dùng thương mại trong một số điều kiện, có ngưỡng doanh thu và hạn chế với dịch vụ cung cấp lại mô hình. Đọc kỹ file LICENSE hoặc liên hệ Fish Audio nếu dự án của bạn mang tính thương mại.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/fishaudio/fish-speech.gitRepo tương tự nên xem
F5-TTS
SWivid / F5-TTS
Bắt chước giọng nói từ vài giây âm thanh mẫu rồi đọc văn bản mới bằng giọng đó
GPT-SoVITS
RVC-Boss / GPT-SoVITS
Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ