Trải nghiệm khi dùng faster-whisper
Bạn cài thư viện bằng một lệnh pip, viết khoảng chục dòng Python rồi trỏ vào một file ghi âm hay video. Chương trình chạy xong sẽ in ra từng đoạn lời kèm mốc thời gian bắt đầu và kết thúc, đủ để bạn lưu thành phụ đề hoặc biên bản họp.
Điểm cộng so với Whisper gốc là không cần cài FFmpeg riêng trên máy vì README nói âm thanh được đọc bằng thư viện PyAV có sẵn FFmpeg bên trong. Máy có card NVIDIA thì cài thêm thư viện cuBLAS và cuDNN cho CUDA 12 để chạy GPU, còn không có card vẫn chạy bằng CPU kiểu int8.
Có một cái bẫy hay gặp: kết quả trả về là một generator, tức việc nhận dạng chỉ thực sự chạy khi bạn duyệt qua nó bằng vòng lặp hoặc gói thành list. Nếu quên, bạn sẽ thấy chương trình kết thúc rất nhanh mà không có chữ nào.
Tính năng nổi bật
Nhanh hơn Whisper gốc
README so sánh trên cùng một đoạn âm thanh 13 phút: bản này nhanh hơn và dùng ít VRAM hơn bản gốc, nhất là khi bật lượng tử hoá int8 hoặc xử lý theo lô.
Chạy được trên cả CPU và GPU
Chọn chạy bằng card NVIDIA cho nhanh hoặc CPU với int8 khi máy không có card rời.
Xử lý theo lô
Chế độ batched cho phép xử lý nhiều đoạn cùng lúc, rút ngắn thời gian với file dài.
Không cần cài FFmpeg riêng
Giải mã âm thanh bằng PyAV, giúp cài đặt đơn giản hơn so với Whisper gốc.
Tương thích mô hình Distil-Whisper
Có thể dùng các bản distil-large-v3 nhẹ hơn nhưng vẫn cho kết quả gần với bản lớn.
Tận dụng faster-whisper vào việc gì?
Dân văn phòng, nhà báo
Gỡ băng cuộc họp và phỏng vấn
Chuyển file ghi âm dài thành văn bản có mốc thời gian để rà soát và tóm tắt.
Người làm YouTube, TikTok
Tạo phụ đề cho video
Chạy qua file video rồi xuất lời kèm thời gian, nhập vào phần mềm dựng để làm phụ đề.
Giáo viên, sinh viên
Xử lý hàng loạt bài giảng
Viết vòng lặp qua thư mục các buổi học để có bản chữ phục vụ ôn tập.
Lập trình viên
Nền tảng cho ứng dụng nhận dạng giọng nói
Dùng làm bộ nhận dạng bên trong công cụ của riêng bạn, nhiều ứng dụng khác như WhisperX cũng dựa trên nó.
Cần chuẩn bị gì?
- Python 3.9 trở lên.
- Chạy GPU cần thư viện NVIDIA cuBLAS cho CUDA 12 và cuDNN 9 cho CUDA 12.
- Máy không có card NVIDIA vẫn chạy được bằng CPU.
- Kết nối Internet lần đầu để tải mô hình Whisper về máy.
Hướng dẫn cài đặt chi tiết
Cài trên pip
Tạo môi trường ảo Python để tránh xung đột thư viện. Lệnh dưới dành cho macOS hoặc Linux; trên Windows PowerShell kích hoạt bằng .venv\Scripts\Activate.ps1.
python -m venv .venv source .venv/bin/activateCài thư viện từ PyPI.
pip install faster-whisperMuốn chạy trên GPU NVIDIA, cài thêm cuBLAS và cuDNN 9 cho CUDA 12 theo hướng dẫn trong README. Trên Linux có thể dùng pip, còn Windows README nhắc tới kho thư viện của Purfview hoặc cài từ trang NVIDIA.
Cài trên Docker
README gợi ý dùng image NVIDIA CUDA chính thức đã có sẵn cuBLAS và cuDNN, ví dụ nvidia/cuda:12.3.2-cudnn9-runtime-ubuntu22.04, rồi cài faster-whisper bằng pip bên trong container.
Bạn cần cài NVIDIA Container Toolkit trên máy chủ để container thấy được card đồ hoạ.
Dùng thử lần đầu
Chuẩn bị một file audio.mp3 ngắn trong thư mục hiện tại. Tạo file demo.py với nội dung dưới, dùng mô hình small chạy bằng CPU để dễ thử trước.
from faster_whisper import WhisperModel model = WhisperModel("small", device="cpu", compute_type="int8") segments, info = model.transcribe("audio.mp3", beam_size=5) print("Ngôn ngữ nhận ra:", info.language, info.language_probability) for segment in segments: print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))Chạy file. Lần đầu sẽ tải mô hình, nên cần chờ.
python demo.pyNếu có card NVIDIA, đổi sang mô hình lớn hơn như large-v3 với device cuda và compute_type float16 để chữ chính xác hơn.
model = WhisperModel("large-v3", device="cuda", compute_type="float16")Với file dài, thử chế độ theo lô để giảm thời gian.
from faster_whisper import WhisperModel, BatchedInferencePipeline model = WhisperModel("turbo", device="cuda", compute_type="float16") batched = BatchedInferencePipeline(model=model) segments, info = batched.transcribe("audio.mp3", batch_size=16)
Mẹo dùng hay
- Máy yếu thì chọn mô hình nhỏ hơn như small kèm compute_type int8; chạy mô hình lớn trên CPU sẽ rất lâu.
- Hay quên: kết quả transcribe là generator. Muốn có cả danh sách thì bọc bằng list(segments) hoặc duyệt bằng vòng for.
- Cần biết ai nói câu nào hoặc mốc thời gian từng từ thì xem WhisperX, dự án khác dựa trên faster-whisper.
Lưu ý và hạn chế
- Đây là thư viện lập trình, không có giao diện bấm nút. Người không viết code nên cân nhắc ứng dụng có giao diện như Buzz.
- Cài GPU thường là bước khó nhất vì phải khớp phiên bản CUDA và cuDNN. README còn cảnh báo bản ctranslate2 mới chỉ hỗ trợ CUDA 12 và cuDNN 9.
- Chất lượng nhận dạng tiếng Việt phụ thuộc vào mô hình Whisper bạn chọn và độ rõ của âm thanh; bản nhỏ dễ sai tên riêng và từ chuyên ngành.
Câu hỏi thường gặp
faster-whisper khác Whisper của OpenAI thế nào?
Cùng dùng mô hình Whisper nhưng faster-whisper chạy bằng CTranslate2 nên theo README nhanh hơn tới khoảng 4 lần và tốn ít bộ nhớ hơn với cùng độ chính xác.
Có nhận dạng được tiếng Việt không?
Whisper hỗ trợ nhiều ngôn ngữ nên bạn có thể thử, README có tham số chọn ngôn ngữ hoặc để mô hình tự nhận. Hãy kiểm tra kết quả trên file thực của bạn.
Máy không có card NVIDIA thì chạy được không?
Được. Dùng device cpu và compute_type int8, README có đo thử trên CPU Intel i7. Tốc độ chậm hơn GPU rõ rệt.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/SYSTRAN/faster-whisper.gitRepo tương tự nên xem
Whisper
openai / whisper
Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ
WhisperX
m-bain / whisperX
Chuyển giọng nói thành chữ kèm mốc thời gian từng từ và nhãn người nói, dựa trên Whisper.
whisper.cpp
ggml-org / whisper.cpp
Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python