Chuyển đến nội dung

m-bain / whisperX

WhisperX

Chuyển giọng nói thành chữ kèm mốc thời gian từng từ và nhãn người nói, dựa trên Whisper.

WhisperX nâng Whisper lên một bậc: dùng faster-whisper để chạy nhanh, thêm bước căn chỉnh để có mốc thời gian chính xác từng từ, và nhận biết ai đang nói (speaker diarization). Hợp với người cần phụ đề khớp hình hoặc biên bản họp có tên người nói, nhưng phải gõ lệnh và cài đặt khá kỹ thuật.

  • 25.368 sao
  • 2.561 fork
  • Python
  • Cập nhật 4 ngày trước
  • BSD 2 (dùng tự do)
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Dòng lệnh (CLI), Thư viện lập trình
Chạy trên
Windows, macOS, Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng WhisperX

Bạn mở Terminal, gõ whisperx rồi đường dẫn tới file âm thanh. Chương trình tải mô hình, nghe file, rồi tạo ra các file chữ và file phụ đề SRT. Khác với Whisper thường, mỗi từ có mốc thời gian riêng nên phụ đề khớp với miệng nói hơn, và có thể tô sáng từng từ khi phát.

Nếu thêm tuỳ chọn nhận diện người nói, kết quả sẽ có nhãn như người nói 1, người nói 2 ở đầu mỗi đoạn. Phần này dùng mô hình của pyannote trên Hugging Face, nên bạn cần tạo tài khoản, lấy token đọc và đồng ý điều khoản của mô hình trước khi chạy được.

Người không quen dòng lệnh có thể thấy hơi nặng đầu: cần Python, tuỳ chọn CUDA 12.8 nếu muốn chạy bằng card NVIDIA, và có thể phải cài thêm ffmpeg. Đổi lại, bạn có một bộ công cụ gỡ băng chất lượng cao chạy hoàn toàn trên máy mình.

Tính năng nổi bật

Mốc thời gian từng từ

Dùng căn chỉnh âm vị bằng wav2vec2 để mỗi từ có thời điểm bắt đầu và kết thúc, tốt hơn mốc theo cả câu của Whisper.

Nhận biết người nói

Gắn nhãn ai nói đoạn nào trong cuộc họp hay phỏng vấn, có thể cho biết số người nói để kết quả sát hơn.

Xử lý theo lô, nhanh

README cho biết tốc độ có thể gấp khoảng 70 lần thời gian thực với mô hình large-v2, nhờ nền faster-whisper và xử lý theo lô.

Lọc đoạn không có tiếng

Bước phát hiện giọng nói giúp bỏ đoạn im lặng, giảm hiện tượng mô hình bịa chữ ở chỗ không có lời.

Dùng được từ dòng lệnh và Python

Gõ một lệnh cho nhanh, hoặc viết mã Python để ghép vào quy trình xử lý của riêng bạn.

Tận dụng WhisperX vào việc gì?

Dân văn phòng, thư ký

Biên bản họp có tên người nói

Chuyển file ghi âm họp thành văn bản tách theo từng người nói để dễ rà soát.

Người làm video, YouTube

Phụ đề khớp từng từ cho video

Tạo file SRT có mốc thời gian chính xác để dựng phụ đề chạy theo từng từ.

Nhà báo, nhà nghiên cứu

Gỡ băng phỏng vấn nhiều người

Tách lời của người hỏi và người trả lời, giảm công ghi tay.

Lập trình viên, kỹ sư dữ liệu

Chuẩn bị dữ liệu cho dự án giọng nói

Cắt audio dài thành các đoạn có nhãn thời gian và người nói để dùng cho huấn luyện hoặc phân tích.

Cần chuẩn bị gì?

  • Python và pip; có thể dùng uv như README gợi ý.
  • Muốn chạy GPU: card NVIDIA và CUDA Toolkit 12.8. Chạy CPU thì bỏ qua bước này.
  • Bộ nhớ GPU: README ghi cần dưới 8 GB cho large-v2 với beam_size 5.
  • Để nhận biết người nói: tài khoản Hugging Face, token đọc và đồng ý điều khoản mô hình pyannote.

Hướng dẫn cài đặt chi tiết

Cài trên pip

  1. Chạy GPU thì cài trước CUDA Toolkit 12.8 theo hướng dẫn của NVIDIA (Windows tải từ trang CUDA Downloads, Linux theo CUDA Installation Guide). Nếu chỉ dùng CPU, bỏ qua bước này.

  2. Cài WhisperX từ PyPI. Nên làm trong môi trường ảo Python.

    Terminal
    pip install whisperx
  3. Hoặc chạy thẳng bằng uvx mà không cài vào hệ thống.

    Terminal
    uvx whisperx
  4. README còn nói bạn có thể cần cài thêm ffmpeg và rust nếu gặp lỗi, theo hướng dẫn cài Whisper của OpenAI.

Cài trên Chạy nhanh hơn (tuỳ chọn)

  1. Với file dài hoặc xử lý hàng loạt trên GPU, cài thêm Numba để bước căn chỉnh nhanh hơn. README nói có thể nhanh hơn 30 đến 100 lần, và nếu không cài thì tự dùng cách mặc định.

    Terminal
    pip install "whisperx[fast]"

Dùng thử lần đầu

  1. Chạy lệnh đơn giản nhất trên một file ngắn. Mặc định dùng mô hình small. Thêm --highlight_words True nếu muốn file SRT tô sáng từng từ.

    Terminal
    whisperx path/to/audio.wav
  2. Với tiếng khác tiếng Anh, chỉ rõ ngôn ngữ và dùng mô hình lớn hơn. Ví dụ dưới là tiếng Đức theo README; bạn đổi mã ngôn ngữ sang vi để thử tiếng Việt, nhưng cần có mô hình căn chỉnh cho ngôn ngữ đó.

    Terminal
    whisperx --model large-v2 --language de path/to/audio.wav
  3. Máy không có card NVIDIA hoặc dùng Mac: chạy bằng CPU với kiểu tính toán int8.

    Terminal
    whisperx path/to/audio.wav --compute_type int8 --device cpu
  4. Muốn gắn nhãn người nói, thêm --diarize và token Hugging Face (thay YOUR_HF_TOKEN bằng token của bạn). Nếu biết số người, đặt thêm --min_speakers và --max_speakers.

    Terminal
    whisperx path/to/audio.wav --model large-v2 --diarize --hf_token YOUR_HF_TOKEN
  5. Mở các file kết quả được tạo ra cùng thư mục để xem văn bản và phụ đề.

Mẹo dùng hay

  • Gặp lỗi hết bộ nhớ GPU thì giảm batch_size hoặc dùng compute_type int8 như README gợi ý, đổi lại độ chính xác có thể giảm nhẹ.
  • Biết trước số người nói thì đặt --min_speakers và --max_speakers để phân biệt người nói chính xác hơn.
  • Âm thanh sạch, ít nhiễu cho kết quả tốt hơn hẳn. Thử lọc ồn trước khi đưa vào nếu ghi âm ở nơi đông người.

Lưu ý và hạn chế

  • README nêu thẳng các hạn chế: từ có số hoặc ký hiệu như 2014 hay giá tiền có thể không được gán mốc thời gian, lời nói chồng nhau xử lý chưa tốt và nhận biết người nói còn xa hoàn hảo.
  • Mỗi ngôn ngữ cần một mô hình căn chỉnh riêng; ngôn ngữ ít phổ biến có thể chưa có sẵn mô hình tốt.
  • Tính năng nhận biết người nói cần token Hugging Face và bạn phải chấp nhận điều khoản mô hình bên thứ ba. Ghi âm người khác cần có sự đồng ý của họ.

Câu hỏi thường gặp

WhisperX khác faster-whisper ở điểm nào?

WhisperX dùng faster-whisper làm nền, rồi thêm căn chỉnh mốc thời gian từng từ và nhận biết người nói. Chỉ cần chữ thô thì faster-whisper là đủ.

Có dùng được cho tiếng Việt không?

Tài liệu nói mô hình căn chỉnh phụ thuộc ngôn ngữ và bạn truyền mã ngôn ngữ để chọn. Danh sách ngôn ngữ có sẵn nằm trong mã nguồn nên hãy kiểm tra trước, rồi thử trên file thật.

Máy không có card đồ hoạ có chạy được không?

Được. Dùng --device cpu và --compute_type int8, README ghi cách này cũng dùng cho macOS. Chỉ là chậm hơn nhiều.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/m-bain/whisperX.git

Repo tương tự nên xem

Giọng nói & âm thanh AI26,8K

faster-whisper

SYSTRAN / faster-whisper

Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI113K

Whisper

openai / whisper

Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI22,8K

Buzz

chidiwilliams / buzz

Ứng dụng máy tính gỡ băng và dịch âm thanh offline bằng Whisper, xuất phụ đề SRT.

DễWindowsmacOSLinuxPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Giọng nói & âm thanh AI

Giọng nói & âm thanh AI65,2K

GPT-SoVITS

RVC-Boss / GPT-SoVITS

Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ

VừaWindowsmacOSLinuxDocker+1
Giọng nói & âm thanh AI57,2K

VibeVoice

microsoft / VibeVoice

Bộ mô hình giọng nói của Microsoft: nhận dạng giọng nói dài 60 phút và đọc văn bản theo thời gian thực

KhóLinuxDockerPython
Giọng nói & âm thanh AI55,2K

whisper.cpp

ggml-org / whisper.cpp

Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python

KhóWindowsmacOSLinuxAndroid+2
Giọng nói & âm thanh AI40K

ChatTTS

2noise / ChatTTS

Mô hình đọc văn bản cho hội thoại, giọng tự nhiên có cả tiếng cười và quãng ngắt nghỉ

KhóWindowsLinuxmacOSPython
Giọng nói & âm thanh AI39,3K

RVC (Retrieval-based Voice Conversion WebUI)

RVC-Project / Retrieval-based-Voice-Conversion-WebUI

Đổi giọng nói thành giọng khác chỉ cần khoảng 10 phút dữ liệu để huấn luyện, có giao diện web

KhóWindowsLinuxPython
Giọng nói & âm thanh AI38,3K

OpenVoice

myshell-ai / OpenVoice

Nhân bản âm sắc giọng nói từ một đoạn mẫu ngắn và cho đọc bằng nhiều ngôn ngữ, giấy phép MIT

KhóLinuxWindowsDockerPython

Xem cả 20 repo Giọng nói & âm thanh AI Về Kho Repo