Trải nghiệm khi dùng FunASR
FunASR không có giao diện cho người dùng cuối. Bạn cài thư viện Python, viết vài dòng gọi AutoModel và đưa vào một file âm thanh. Kết quả trả về là đoạn chữ, và nếu bạn ghép thêm các bước phát hiện giọng nói, dấu câu, nhận biết người nói thì có cả mốc thời gian và nhãn người nói.
Điểm khác với nhiều công cụ cùng loại là FunASR coi mình là một bộ đồ nghề. Bạn tự chọn bài toán, mô hình và cách chạy. Muốn thử nhanh không cài gì, README có sổ tay Colab để tải file lên trình duyệt và xem kết quả.
Nếu mục tiêu là gỡ băng tiếng Việt, hãy tỉnh táo: các mô hình chủ lực trong README nhắm vào tiếng Trung, Anh, Nhật và một số phương ngữ Trung Quốc. Có bản 31 ngôn ngữ và Whisper trong bảng mô hình, nhưng bạn phải tự kiểm tra tiếng Việt trên dữ liệu của mình.
Tính năng nổi bật
Nhiều mô hình để chọn
Gồm Fun-ASR-Nano, bản đa ngôn ngữ 31 ngôn ngữ, SenseVoiceSmall, Paraformer và cả Whisper, bạn chọn theo bài toán.
Ghép chuỗi xử lý
Nối mô hình nhận dạng với phát hiện đoạn có tiếng (VAD), thêm dấu câu và nhận biết người nói trong một lần gọi.
Nhận dạng trực tiếp theo luồng
Có mô hình streaming để xử lý âm thanh theo từng khúc nhỏ, dùng cho phụ đề trực tiếp hay trợ lý giọng nói.
Cảm xúc và sự kiện âm thanh
SenseVoiceSmall có thể gắn thẻ cảm xúc và sự kiện như tiếng cười, chạy được cả trên CPU.
Chạy như dịch vụ
Có hướng dẫn triển khai máy chủ, giao diện tương thích OpenAI, và dùng vLLM để xử lý lô lớn.
Có sổ tay Colab
Thử nhận dạng trên trình duyệt mà không cần cài đặt trên máy.
Tận dụng FunASR vào việc gì?
Người làm nội dung đa ngôn ngữ
Gỡ băng tiếng Trung, Anh, Nhật
Chuyển podcast, webinar hay phỏng vấn thành chữ có dấu câu.
Đội kỹ thuật công ty
Dựng dịch vụ nhận dạng giọng nói nội bộ
Tự chạy máy chủ ASR trên hạ tầng của mình để dữ liệu âm thanh không gửi ra ngoài.
Lập trình viên
Phụ đề trực tiếp cho họp hoặc livestream
Dùng mô hình streaming để hiện chữ gần như ngay khi người nói đang nói.
Doanh nghiệp bán hàng
Phân tích cuộc gọi chăm sóc khách hàng
Gỡ băng, tách người nói và gắn cảm xúc để đánh giá chất lượng tư vấn.
Cần chuẩn bị gì?
- Python từ 3.8 trở lên.
- Cài trước PyTorch và torchaudio phù hợp với máy (trang pytorch.org).
- Card NVIDIA nếu muốn dùng device cuda; kiểm tra torch.cuda.is_available trả về True trước khi bật.
- Kết nối Internet lần đầu để tải mô hình; mỗi mô hình có giấy phép riêng.
Hướng dẫn cài đặt chi tiết
Cài trên pip
Cài PyTorch và torchaudio. Máy chỉ dùng CPU có thể cài bản mặc định. Máy có GPU thì chọn đúng bản CUDA theo hướng dẫn trên pytorch.org trước.
pip install torch torchaudioCài FunASR từ PyPI.
pip install funasrNếu dùng GPU, kiểm tra torch có thấy card không. Chỉ đặt device là cuda khi lệnh này in ra True.
python -c "import torch; print(torch.cuda.is_available())"
Cài trên Từ mã nguồn
Clone repo và cài ở chế độ chỉnh sửa nếu bạn muốn sửa mã.
git clone https://github.com/modelscope/FunASR.git cd FunASR pip install -e ./
Cài trên Colab (không cài)
Mở sổ tay quickstart trong thư mục examples/colab của repo trên Google Colab, tải file âm thanh lên và chạy các ô theo thứ tự.
Dùng thử lần đầu
Thử mô hình SenseVoiceSmall chạy bằng CPU với phát hiện đoạn có tiếng. Thay đường dẫn bằng file âm thanh của bạn (YOUR_AUDIO.wav).
from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess model = AutoModel(model="iic/SenseVoiceSmall", vad_model="fsmn-vad", device="cpu") result = model.generate(input="YOUR_AUDIO.wav", batch_size_s=300) print(rich_transcription_postprocess(result[0]["text"]))Chạy file Python vừa tạo. Lần đầu nó tải mô hình nên cần chờ.
python demo.pyMuốn có nhãn người nói, thêm spk_model là cam++ vào AutoModel như ví dụ trong README. Chúng chỉ là chỉ số ẩn danh trong một bản ghi, không phải nhận diện danh tính.
Muốn thử mô hình Fun-ASR-Nano mới hơn, xem hướng dẫn Transformers hoặc bản AutoModel cho GPU ở phần Quick Start của README.
Mẹo dùng hay
- Nếu mục tiêu của bạn là tiếng Việt, thử Whisper-large-v3 trong bảng mô hình của FunASR hoặc chuyển sang công cụ như faster-whisper rồi so sánh trên cùng đoạn âm thanh.
- README nhắc kiểm tra kỹ độ phủ ngôn ngữ của từng mô hình: bản Nano chỉ hỗ trợ Trung, Anh, Nhật và vài phương ngữ, còn bản MLT-Nano mới hỗ trợ 31 ngôn ngữ.
- README khuyên tự đo hiệu năng trên âm thanh và phần cứng của bạn trước khi chọn runtime.
Lưu ý và hạn chế
- Mã của bộ công cụ theo MIT nhưng trọng số mô hình có giấy phép riêng. Xem thẻ mô hình và FunASR Model Open Source License Agreement trước khi dùng thương mại.
- Đây là thư viện cho người biết lập trình, nhiều lựa chọn nên người mới dễ bối rối.
- Kết quả nhận người nói chỉ là chỉ số ẩn danh trong từng bản ghi, không xác định danh tính. Ghi âm người khác cần được đồng ý.
Câu hỏi thường gặp
FunASR có nhận dạng tiếng Việt không?
Các mô hình chủ lực nhắm tiếng Trung, Anh, Nhật, Hàn. Bản Fun-ASR-MLT-Nano và Whisper trong bảng hỗ trợ nhiều ngôn ngữ hơn nhưng bạn cần tự thử trên giọng và âm thanh tiếng Việt của mình.
FunASR khác Whisper thế nào?
Whisper là một họ mô hình. FunASR là bộ công cụ chứa nhiều mô hình, trong đó có cả Whisper, cùng các bước phụ như VAD và thêm dấu câu.
Có miễn phí không?
Bộ công cụ miễn phí theo MIT. Mô hình tải về có giấy phép riêng nên cần xem thẻ mô hình.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/modelscope/FunASR.gitRepo tương tự nên xem
faster-whisper
SYSTRAN / faster-whisper
Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.
Whisper
openai / whisper
Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ
WhisperX
m-bain / whisperX
Chuyển giọng nói thành chữ kèm mốc thời gian từng từ và nhãn người nói, dựa trên Whisper.