Trải nghiệm khi dùng WhisperX
Bạn mở Terminal, gõ whisperx rồi đường dẫn tới file âm thanh. Chương trình tải mô hình, nghe file, rồi tạo ra các file chữ và file phụ đề SRT. Khác với Whisper thường, mỗi từ có mốc thời gian riêng nên phụ đề khớp với miệng nói hơn, và có thể tô sáng từng từ khi phát.
Nếu thêm tuỳ chọn nhận diện người nói, kết quả sẽ có nhãn như người nói 1, người nói 2 ở đầu mỗi đoạn. Phần này dùng mô hình của pyannote trên Hugging Face, nên bạn cần tạo tài khoản, lấy token đọc và đồng ý điều khoản của mô hình trước khi chạy được.
Người không quen dòng lệnh có thể thấy hơi nặng đầu: cần Python, tuỳ chọn CUDA 12.8 nếu muốn chạy bằng card NVIDIA, và có thể phải cài thêm ffmpeg. Đổi lại, bạn có một bộ công cụ gỡ băng chất lượng cao chạy hoàn toàn trên máy mình.
Tính năng nổi bật
Mốc thời gian từng từ
Dùng căn chỉnh âm vị bằng wav2vec2 để mỗi từ có thời điểm bắt đầu và kết thúc, tốt hơn mốc theo cả câu của Whisper.
Nhận biết người nói
Gắn nhãn ai nói đoạn nào trong cuộc họp hay phỏng vấn, có thể cho biết số người nói để kết quả sát hơn.
Xử lý theo lô, nhanh
README cho biết tốc độ có thể gấp khoảng 70 lần thời gian thực với mô hình large-v2, nhờ nền faster-whisper và xử lý theo lô.
Lọc đoạn không có tiếng
Bước phát hiện giọng nói giúp bỏ đoạn im lặng, giảm hiện tượng mô hình bịa chữ ở chỗ không có lời.
Dùng được từ dòng lệnh và Python
Gõ một lệnh cho nhanh, hoặc viết mã Python để ghép vào quy trình xử lý của riêng bạn.
Tận dụng WhisperX vào việc gì?
Dân văn phòng, thư ký
Biên bản họp có tên người nói
Chuyển file ghi âm họp thành văn bản tách theo từng người nói để dễ rà soát.
Người làm video, YouTube
Phụ đề khớp từng từ cho video
Tạo file SRT có mốc thời gian chính xác để dựng phụ đề chạy theo từng từ.
Nhà báo, nhà nghiên cứu
Gỡ băng phỏng vấn nhiều người
Tách lời của người hỏi và người trả lời, giảm công ghi tay.
Lập trình viên, kỹ sư dữ liệu
Chuẩn bị dữ liệu cho dự án giọng nói
Cắt audio dài thành các đoạn có nhãn thời gian và người nói để dùng cho huấn luyện hoặc phân tích.
Cần chuẩn bị gì?
- Python và pip; có thể dùng uv như README gợi ý.
- Muốn chạy GPU: card NVIDIA và CUDA Toolkit 12.8. Chạy CPU thì bỏ qua bước này.
- Bộ nhớ GPU: README ghi cần dưới 8 GB cho large-v2 với beam_size 5.
- Để nhận biết người nói: tài khoản Hugging Face, token đọc và đồng ý điều khoản mô hình pyannote.
Hướng dẫn cài đặt chi tiết
Cài trên pip
Chạy GPU thì cài trước CUDA Toolkit 12.8 theo hướng dẫn của NVIDIA (Windows tải từ trang CUDA Downloads, Linux theo CUDA Installation Guide). Nếu chỉ dùng CPU, bỏ qua bước này.
Cài WhisperX từ PyPI. Nên làm trong môi trường ảo Python.
pip install whisperxHoặc chạy thẳng bằng uvx mà không cài vào hệ thống.
uvx whisperxREADME còn nói bạn có thể cần cài thêm ffmpeg và rust nếu gặp lỗi, theo hướng dẫn cài Whisper của OpenAI.
Cài trên Chạy nhanh hơn (tuỳ chọn)
Với file dài hoặc xử lý hàng loạt trên GPU, cài thêm Numba để bước căn chỉnh nhanh hơn. README nói có thể nhanh hơn 30 đến 100 lần, và nếu không cài thì tự dùng cách mặc định.
pip install "whisperx[fast]"
Dùng thử lần đầu
Chạy lệnh đơn giản nhất trên một file ngắn. Mặc định dùng mô hình small. Thêm --highlight_words True nếu muốn file SRT tô sáng từng từ.
whisperx path/to/audio.wavVới tiếng khác tiếng Anh, chỉ rõ ngôn ngữ và dùng mô hình lớn hơn. Ví dụ dưới là tiếng Đức theo README; bạn đổi mã ngôn ngữ sang vi để thử tiếng Việt, nhưng cần có mô hình căn chỉnh cho ngôn ngữ đó.
whisperx --model large-v2 --language de path/to/audio.wavMáy không có card NVIDIA hoặc dùng Mac: chạy bằng CPU với kiểu tính toán int8.
whisperx path/to/audio.wav --compute_type int8 --device cpuMuốn gắn nhãn người nói, thêm --diarize và token Hugging Face (thay YOUR_HF_TOKEN bằng token của bạn). Nếu biết số người, đặt thêm --min_speakers và --max_speakers.
whisperx path/to/audio.wav --model large-v2 --diarize --hf_token YOUR_HF_TOKENMở các file kết quả được tạo ra cùng thư mục để xem văn bản và phụ đề.
Mẹo dùng hay
- Gặp lỗi hết bộ nhớ GPU thì giảm batch_size hoặc dùng compute_type int8 như README gợi ý, đổi lại độ chính xác có thể giảm nhẹ.
- Biết trước số người nói thì đặt --min_speakers và --max_speakers để phân biệt người nói chính xác hơn.
- Âm thanh sạch, ít nhiễu cho kết quả tốt hơn hẳn. Thử lọc ồn trước khi đưa vào nếu ghi âm ở nơi đông người.
Lưu ý và hạn chế
- README nêu thẳng các hạn chế: từ có số hoặc ký hiệu như 2014 hay giá tiền có thể không được gán mốc thời gian, lời nói chồng nhau xử lý chưa tốt và nhận biết người nói còn xa hoàn hảo.
- Mỗi ngôn ngữ cần một mô hình căn chỉnh riêng; ngôn ngữ ít phổ biến có thể chưa có sẵn mô hình tốt.
- Tính năng nhận biết người nói cần token Hugging Face và bạn phải chấp nhận điều khoản mô hình bên thứ ba. Ghi âm người khác cần có sự đồng ý của họ.
Câu hỏi thường gặp
WhisperX khác faster-whisper ở điểm nào?
WhisperX dùng faster-whisper làm nền, rồi thêm căn chỉnh mốc thời gian từng từ và nhận biết người nói. Chỉ cần chữ thô thì faster-whisper là đủ.
Có dùng được cho tiếng Việt không?
Tài liệu nói mô hình căn chỉnh phụ thuộc ngôn ngữ và bạn truyền mã ngôn ngữ để chọn. Danh sách ngôn ngữ có sẵn nằm trong mã nguồn nên hãy kiểm tra trước, rồi thử trên file thật.
Máy không có card đồ hoạ có chạy được không?
Được. Dùng --device cpu và --compute_type int8, README ghi cách này cũng dùng cho macOS. Chỉ là chậm hơn nhiều.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/m-bain/whisperX.gitRepo tương tự nên xem
faster-whisper
SYSTRAN / faster-whisper
Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.
Whisper
openai / whisper
Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ
Buzz
chidiwilliams / buzz
Ứng dụng máy tính gỡ băng và dịch âm thanh offline bằng Whisper, xuất phụ đề SRT.