Chuyển đến nội dung

modelscope / FunASR

FunASR

Bộ công cụ nhận dạng giọng nói của ModelScope: gỡ băng, chia đoạn, thêm dấu câu, nhận biết người nói.

FunASR là bộ công cụ nhận dạng giọng nói (ASR) dùng cho cả file có sẵn lẫn nhận dạng trực tiếp, gồm nhiều mô hình như Fun-ASR-Nano, SenseVoice, Paraformer cùng các bước phụ như phát hiện đoạn có tiếng, thêm dấu câu. Dành cho lập trình viên và đội kỹ thuật, mạnh nhất với tiếng Trung, Anh, Nhật; tiếng Việt không phải trọng tâm.

  • 21.049 sao
  • 2.131 fork
  • Python
  • Cập nhật hôm nay
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Thư viện lập trình, Mô hình AI
Chạy trên
Windows, macOS, Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng FunASR

FunASR không có giao diện cho người dùng cuối. Bạn cài thư viện Python, viết vài dòng gọi AutoModel và đưa vào một file âm thanh. Kết quả trả về là đoạn chữ, và nếu bạn ghép thêm các bước phát hiện giọng nói, dấu câu, nhận biết người nói thì có cả mốc thời gian và nhãn người nói.

Điểm khác với nhiều công cụ cùng loại là FunASR coi mình là một bộ đồ nghề. Bạn tự chọn bài toán, mô hình và cách chạy. Muốn thử nhanh không cài gì, README có sổ tay Colab để tải file lên trình duyệt và xem kết quả.

Nếu mục tiêu là gỡ băng tiếng Việt, hãy tỉnh táo: các mô hình chủ lực trong README nhắm vào tiếng Trung, Anh, Nhật và một số phương ngữ Trung Quốc. Có bản 31 ngôn ngữ và Whisper trong bảng mô hình, nhưng bạn phải tự kiểm tra tiếng Việt trên dữ liệu của mình.

Tính năng nổi bật

Nhiều mô hình để chọn

Gồm Fun-ASR-Nano, bản đa ngôn ngữ 31 ngôn ngữ, SenseVoiceSmall, Paraformer và cả Whisper, bạn chọn theo bài toán.

Ghép chuỗi xử lý

Nối mô hình nhận dạng với phát hiện đoạn có tiếng (VAD), thêm dấu câu và nhận biết người nói trong một lần gọi.

Nhận dạng trực tiếp theo luồng

Có mô hình streaming để xử lý âm thanh theo từng khúc nhỏ, dùng cho phụ đề trực tiếp hay trợ lý giọng nói.

Cảm xúc và sự kiện âm thanh

SenseVoiceSmall có thể gắn thẻ cảm xúc và sự kiện như tiếng cười, chạy được cả trên CPU.

Chạy như dịch vụ

Có hướng dẫn triển khai máy chủ, giao diện tương thích OpenAI, và dùng vLLM để xử lý lô lớn.

Có sổ tay Colab

Thử nhận dạng trên trình duyệt mà không cần cài đặt trên máy.

Tận dụng FunASR vào việc gì?

Người làm nội dung đa ngôn ngữ

Gỡ băng tiếng Trung, Anh, Nhật

Chuyển podcast, webinar hay phỏng vấn thành chữ có dấu câu.

Đội kỹ thuật công ty

Dựng dịch vụ nhận dạng giọng nói nội bộ

Tự chạy máy chủ ASR trên hạ tầng của mình để dữ liệu âm thanh không gửi ra ngoài.

Lập trình viên

Phụ đề trực tiếp cho họp hoặc livestream

Dùng mô hình streaming để hiện chữ gần như ngay khi người nói đang nói.

Doanh nghiệp bán hàng

Phân tích cuộc gọi chăm sóc khách hàng

Gỡ băng, tách người nói và gắn cảm xúc để đánh giá chất lượng tư vấn.

Cần chuẩn bị gì?

  • Python từ 3.8 trở lên.
  • Cài trước PyTorch và torchaudio phù hợp với máy (trang pytorch.org).
  • Card NVIDIA nếu muốn dùng device cuda; kiểm tra torch.cuda.is_available trả về True trước khi bật.
  • Kết nối Internet lần đầu để tải mô hình; mỗi mô hình có giấy phép riêng.

Hướng dẫn cài đặt chi tiết

Cài trên pip

  1. Cài PyTorch và torchaudio. Máy chỉ dùng CPU có thể cài bản mặc định. Máy có GPU thì chọn đúng bản CUDA theo hướng dẫn trên pytorch.org trước.

    Terminal
    pip install torch torchaudio
  2. Cài FunASR từ PyPI.

    Terminal
    pip install funasr
  3. Nếu dùng GPU, kiểm tra torch có thấy card không. Chỉ đặt device là cuda khi lệnh này in ra True.

    Terminal
    python -c "import torch; print(torch.cuda.is_available())"

Cài trên Từ mã nguồn

  1. Clone repo và cài ở chế độ chỉnh sửa nếu bạn muốn sửa mã.

    Terminal
    git clone https://github.com/modelscope/FunASR.git
    cd FunASR
    pip install -e ./

Cài trên Colab (không cài)

  1. Mở sổ tay quickstart trong thư mục examples/colab của repo trên Google Colab, tải file âm thanh lên và chạy các ô theo thứ tự.

Dùng thử lần đầu

  1. Thử mô hình SenseVoiceSmall chạy bằng CPU với phát hiện đoạn có tiếng. Thay đường dẫn bằng file âm thanh của bạn (YOUR_AUDIO.wav).

    Python
    from funasr import AutoModel
    from funasr.utils.postprocess_utils import rich_transcription_postprocess
    
    model = AutoModel(model="iic/SenseVoiceSmall", vad_model="fsmn-vad", device="cpu")
    result = model.generate(input="YOUR_AUDIO.wav", batch_size_s=300)
    print(rich_transcription_postprocess(result[0]["text"]))
  2. Chạy file Python vừa tạo. Lần đầu nó tải mô hình nên cần chờ.

    Terminal
    python demo.py
  3. Muốn có nhãn người nói, thêm spk_model là cam++ vào AutoModel như ví dụ trong README. Chúng chỉ là chỉ số ẩn danh trong một bản ghi, không phải nhận diện danh tính.

  4. Muốn thử mô hình Fun-ASR-Nano mới hơn, xem hướng dẫn Transformers hoặc bản AutoModel cho GPU ở phần Quick Start của README.

Mẹo dùng hay

  • Nếu mục tiêu của bạn là tiếng Việt, thử Whisper-large-v3 trong bảng mô hình của FunASR hoặc chuyển sang công cụ như faster-whisper rồi so sánh trên cùng đoạn âm thanh.
  • README nhắc kiểm tra kỹ độ phủ ngôn ngữ của từng mô hình: bản Nano chỉ hỗ trợ Trung, Anh, Nhật và vài phương ngữ, còn bản MLT-Nano mới hỗ trợ 31 ngôn ngữ.
  • README khuyên tự đo hiệu năng trên âm thanh và phần cứng của bạn trước khi chọn runtime.

Lưu ý và hạn chế

  • Mã của bộ công cụ theo MIT nhưng trọng số mô hình có giấy phép riêng. Xem thẻ mô hình và FunASR Model Open Source License Agreement trước khi dùng thương mại.
  • Đây là thư viện cho người biết lập trình, nhiều lựa chọn nên người mới dễ bối rối.
  • Kết quả nhận người nói chỉ là chỉ số ẩn danh trong từng bản ghi, không xác định danh tính. Ghi âm người khác cần được đồng ý.

Câu hỏi thường gặp

FunASR có nhận dạng tiếng Việt không?

Các mô hình chủ lực nhắm tiếng Trung, Anh, Nhật, Hàn. Bản Fun-ASR-MLT-Nano và Whisper trong bảng hỗ trợ nhiều ngôn ngữ hơn nhưng bạn cần tự thử trên giọng và âm thanh tiếng Việt của mình.

FunASR khác Whisper thế nào?

Whisper là một họ mô hình. FunASR là bộ công cụ chứa nhiều mô hình, trong đó có cả Whisper, cùng các bước phụ như VAD và thêm dấu câu.

Có miễn phí không?

Bộ công cụ miễn phí theo MIT. Mô hình tải về có giấy phép riêng nên cần xem thẻ mô hình.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/modelscope/FunASR.git

Repo tương tự nên xem

Giọng nói & âm thanh AI26,8K

faster-whisper

SYSTRAN / faster-whisper

Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI113K

Whisper

openai / whisper

Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI25,4K

WhisperX

m-bain / whisperX

Chuyển giọng nói thành chữ kèm mốc thời gian từng từ và nhãn người nói, dựa trên Whisper.

VừaWindowsmacOSLinuxPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Giọng nói & âm thanh AI

Giọng nói & âm thanh AI65,2K

GPT-SoVITS

RVC-Boss / GPT-SoVITS

Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ

VừaWindowsmacOSLinuxDocker+1
Giọng nói & âm thanh AI57,2K

VibeVoice

microsoft / VibeVoice

Bộ mô hình giọng nói của Microsoft: nhận dạng giọng nói dài 60 phút và đọc văn bản theo thời gian thực

KhóLinuxDockerPython
Giọng nói & âm thanh AI55,2K

whisper.cpp

ggml-org / whisper.cpp

Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python

KhóWindowsmacOSLinuxAndroid+2
Giọng nói & âm thanh AI40K

ChatTTS

2noise / ChatTTS

Mô hình đọc văn bản cho hội thoại, giọng tự nhiên có cả tiếng cười và quãng ngắt nghỉ

KhóWindowsLinuxmacOSPython
Giọng nói & âm thanh AI39,3K

RVC (Retrieval-based Voice Conversion WebUI)

RVC-Project / Retrieval-based-Voice-Conversion-WebUI

Đổi giọng nói thành giọng khác chỉ cần khoảng 10 phút dữ liệu để huấn luyện, có giao diện web

KhóWindowsLinuxPython
Giọng nói & âm thanh AI38,3K

OpenVoice

myshell-ai / OpenVoice

Nhân bản âm sắc giọng nói từ một đoạn mẫu ngắn và cho đọc bằng nhiều ngôn ngữ, giấy phép MIT

KhóLinuxWindowsDockerPython

Xem cả 20 repo Giọng nói & âm thanh AI Về Kho Repo