Chuyển đến nội dung

SYSTRAN / faster-whisper

faster-whisper

Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.

faster-whisper là bản cài đặt lại mô hình nhận dạng giọng nói Whisper bằng CTranslate2, theo README nhanh hơn bản gốc của OpenAI tới khoảng 4 lần với độ chính xác tương đương và dùng ít bộ nhớ hơn. Dành cho người biết chút Python muốn gỡ băng, tạo phụ đề hàng loạt hoặc tích hợp nhận dạng giọng nói vào ứng dụng.

  • 26.775 sao
  • 2.246 fork
  • Python
  • Cập nhật 4 ngày trước
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Thư viện lập trình, Mô hình AI
Chạy trên
Windows, macOS, Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng faster-whisper

Bạn cài thư viện bằng một lệnh pip, viết khoảng chục dòng Python rồi trỏ vào một file ghi âm hay video. Chương trình chạy xong sẽ in ra từng đoạn lời kèm mốc thời gian bắt đầu và kết thúc, đủ để bạn lưu thành phụ đề hoặc biên bản họp.

Điểm cộng so với Whisper gốc là không cần cài FFmpeg riêng trên máy vì README nói âm thanh được đọc bằng thư viện PyAV có sẵn FFmpeg bên trong. Máy có card NVIDIA thì cài thêm thư viện cuBLAS và cuDNN cho CUDA 12 để chạy GPU, còn không có card vẫn chạy bằng CPU kiểu int8.

Có một cái bẫy hay gặp: kết quả trả về là một generator, tức việc nhận dạng chỉ thực sự chạy khi bạn duyệt qua nó bằng vòng lặp hoặc gói thành list. Nếu quên, bạn sẽ thấy chương trình kết thúc rất nhanh mà không có chữ nào.

Tính năng nổi bật

Nhanh hơn Whisper gốc

README so sánh trên cùng một đoạn âm thanh 13 phút: bản này nhanh hơn và dùng ít VRAM hơn bản gốc, nhất là khi bật lượng tử hoá int8 hoặc xử lý theo lô.

Chạy được trên cả CPU và GPU

Chọn chạy bằng card NVIDIA cho nhanh hoặc CPU với int8 khi máy không có card rời.

Xử lý theo lô

Chế độ batched cho phép xử lý nhiều đoạn cùng lúc, rút ngắn thời gian với file dài.

Không cần cài FFmpeg riêng

Giải mã âm thanh bằng PyAV, giúp cài đặt đơn giản hơn so với Whisper gốc.

Tương thích mô hình Distil-Whisper

Có thể dùng các bản distil-large-v3 nhẹ hơn nhưng vẫn cho kết quả gần với bản lớn.

Tận dụng faster-whisper vào việc gì?

Dân văn phòng, nhà báo

Gỡ băng cuộc họp và phỏng vấn

Chuyển file ghi âm dài thành văn bản có mốc thời gian để rà soát và tóm tắt.

Người làm YouTube, TikTok

Tạo phụ đề cho video

Chạy qua file video rồi xuất lời kèm thời gian, nhập vào phần mềm dựng để làm phụ đề.

Giáo viên, sinh viên

Xử lý hàng loạt bài giảng

Viết vòng lặp qua thư mục các buổi học để có bản chữ phục vụ ôn tập.

Lập trình viên

Nền tảng cho ứng dụng nhận dạng giọng nói

Dùng làm bộ nhận dạng bên trong công cụ của riêng bạn, nhiều ứng dụng khác như WhisperX cũng dựa trên nó.

Cần chuẩn bị gì?

  • Python 3.9 trở lên.
  • Chạy GPU cần thư viện NVIDIA cuBLAS cho CUDA 12 và cuDNN 9 cho CUDA 12.
  • Máy không có card NVIDIA vẫn chạy được bằng CPU.
  • Kết nối Internet lần đầu để tải mô hình Whisper về máy.

Hướng dẫn cài đặt chi tiết

Cài trên pip

  1. Tạo môi trường ảo Python để tránh xung đột thư viện. Lệnh dưới dành cho macOS hoặc Linux; trên Windows PowerShell kích hoạt bằng .venv\Scripts\Activate.ps1.

    Terminal
    python -m venv .venv
    source .venv/bin/activate
  2. Cài thư viện từ PyPI.

    Terminal
    pip install faster-whisper
  3. Muốn chạy trên GPU NVIDIA, cài thêm cuBLAS và cuDNN 9 cho CUDA 12 theo hướng dẫn trong README. Trên Linux có thể dùng pip, còn Windows README nhắc tới kho thư viện của Purfview hoặc cài từ trang NVIDIA.

Cài trên Docker

  1. README gợi ý dùng image NVIDIA CUDA chính thức đã có sẵn cuBLAS và cuDNN, ví dụ nvidia/cuda:12.3.2-cudnn9-runtime-ubuntu22.04, rồi cài faster-whisper bằng pip bên trong container.

  2. Bạn cần cài NVIDIA Container Toolkit trên máy chủ để container thấy được card đồ hoạ.

Dùng thử lần đầu

  1. Chuẩn bị một file audio.mp3 ngắn trong thư mục hiện tại. Tạo file demo.py với nội dung dưới, dùng mô hình small chạy bằng CPU để dễ thử trước.

    Python
    from faster_whisper import WhisperModel
    
    model = WhisperModel("small", device="cpu", compute_type="int8")
    segments, info = model.transcribe("audio.mp3", beam_size=5)
    print("Ngôn ngữ nhận ra:", info.language, info.language_probability)
    for segment in segments:
        print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
  2. Chạy file. Lần đầu sẽ tải mô hình, nên cần chờ.

    Terminal
    python demo.py
  3. Nếu có card NVIDIA, đổi sang mô hình lớn hơn như large-v3 với device cuda và compute_type float16 để chữ chính xác hơn.

    Python
    model = WhisperModel("large-v3", device="cuda", compute_type="float16")
  4. Với file dài, thử chế độ theo lô để giảm thời gian.

    Python
    from faster_whisper import WhisperModel, BatchedInferencePipeline
    
    model = WhisperModel("turbo", device="cuda", compute_type="float16")
    batched = BatchedInferencePipeline(model=model)
    segments, info = batched.transcribe("audio.mp3", batch_size=16)

Mẹo dùng hay

  • Máy yếu thì chọn mô hình nhỏ hơn như small kèm compute_type int8; chạy mô hình lớn trên CPU sẽ rất lâu.
  • Hay quên: kết quả transcribe là generator. Muốn có cả danh sách thì bọc bằng list(segments) hoặc duyệt bằng vòng for.
  • Cần biết ai nói câu nào hoặc mốc thời gian từng từ thì xem WhisperX, dự án khác dựa trên faster-whisper.

Lưu ý và hạn chế

  • Đây là thư viện lập trình, không có giao diện bấm nút. Người không viết code nên cân nhắc ứng dụng có giao diện như Buzz.
  • Cài GPU thường là bước khó nhất vì phải khớp phiên bản CUDA và cuDNN. README còn cảnh báo bản ctranslate2 mới chỉ hỗ trợ CUDA 12 và cuDNN 9.
  • Chất lượng nhận dạng tiếng Việt phụ thuộc vào mô hình Whisper bạn chọn và độ rõ của âm thanh; bản nhỏ dễ sai tên riêng và từ chuyên ngành.

Câu hỏi thường gặp

faster-whisper khác Whisper của OpenAI thế nào?

Cùng dùng mô hình Whisper nhưng faster-whisper chạy bằng CTranslate2 nên theo README nhanh hơn tới khoảng 4 lần và tốn ít bộ nhớ hơn với cùng độ chính xác.

Có nhận dạng được tiếng Việt không?

Whisper hỗ trợ nhiều ngôn ngữ nên bạn có thể thử, README có tham số chọn ngôn ngữ hoặc để mô hình tự nhận. Hãy kiểm tra kết quả trên file thực của bạn.

Máy không có card NVIDIA thì chạy được không?

Được. Dùng device cpu và compute_type int8, README có đo thử trên CPU Intel i7. Tốc độ chậm hơn GPU rõ rệt.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/SYSTRAN/faster-whisper.git

Repo tương tự nên xem

Giọng nói & âm thanh AI113K

Whisper

openai / whisper

Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI25,4K

WhisperX

m-bain / whisperX

Chuyển giọng nói thành chữ kèm mốc thời gian từng từ và nhãn người nói, dựa trên Whisper.

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI55,2K

whisper.cpp

ggml-org / whisper.cpp

Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python

KhóWindowsmacOSLinuxAndroid+2

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Giọng nói & âm thanh AI

Giọng nói & âm thanh AI65,2K

GPT-SoVITS

RVC-Boss / GPT-SoVITS

Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ

VừaWindowsmacOSLinuxDocker+1
Giọng nói & âm thanh AI57,2K

VibeVoice

microsoft / VibeVoice

Bộ mô hình giọng nói của Microsoft: nhận dạng giọng nói dài 60 phút và đọc văn bản theo thời gian thực

KhóLinuxDockerPython
Giọng nói & âm thanh AI40K

ChatTTS

2noise / ChatTTS

Mô hình đọc văn bản cho hội thoại, giọng tự nhiên có cả tiếng cười và quãng ngắt nghỉ

KhóWindowsLinuxmacOSPython
Giọng nói & âm thanh AI39,3K

RVC (Retrieval-based Voice Conversion WebUI)

RVC-Project / Retrieval-based-Voice-Conversion-WebUI

Đổi giọng nói thành giọng khác chỉ cần khoảng 10 phút dữ liệu để huấn luyện, có giao diện web

KhóWindowsLinuxPython
Giọng nói & âm thanh AI38,3K

OpenVoice

myshell-ai / OpenVoice

Nhân bản âm sắc giọng nói từ một đoạn mẫu ngắn và cho đọc bằng nhiều ngôn ngữ, giấy phép MIT

KhóLinuxWindowsDockerPython
Giọng nói & âm thanh AI33,8K

Fish Speech

fishaudio / fish-speech

Mô hình đọc văn bản thành giọng nói, nhân bản giọng và điều khiển cảm xúc bằng thẻ trong câu.

KhóLinuxDockerPython

Xem cả 20 repo Giọng nói & âm thanh AI Về Kho Repo