Trải nghiệm khi dùng Whisper
Bạn cài Whisper bằng pip và cài thêm ffmpeg (công cụ xử lý âm thanh, video), sau đó mở Terminal (cửa sổ gõ lệnh) tại thư mục có file ghi âm và gõ một lệnh kèm tên file. Lần đầu Whisper tải mô hình về, rồi bắt đầu in từng đoạn lời thoại kèm mốc thời gian ngay trên màn hình.
Khi chạy xong, cạnh file gốc xuất hiện các file kết quả như văn bản thuần và phụ đề (srt, vtt). Với một buổi họp hay video phỏng vấn, bạn có thể mở file phụ đề trong trình phát video hoặc chỉnh lại vài chỗ nghe sai trước khi dùng.
Whisper không có giao diện bấm chuột, nên người không quen Terminal sẽ thấy hơi lạ lúc đầu. Đổi lại nó rất đơn giản: một lệnh, một file, ra chữ. Muốn tích hợp vào ứng dụng riêng thì chỉ cần vài dòng Python.
Tính năng nổi bật
Nhận dạng nhiều ngôn ngữ
Một mô hình nghe được nhiều thứ tiếng, và bạn có thể chỉ định ngôn ngữ cho chắc. Chất lượng khác nhau tuỳ ngôn ngữ, tiếng Anh thường tốt nhất.
Dịch giọng nói sang tiếng Anh
Với các mô hình đa ngôn ngữ, thêm tuỳ chọn dịch là có bản chữ tiếng Anh từ lời nói của thứ tiếng khác.
Nhiều cỡ mô hình
Từ tiny nhẹ, nhanh đến large chính xác hơn nhưng nặng; còn có bản turbo nhanh, tối ưu từ large-v3. README nêu rõ lượng VRAM ước tính cho từng cỡ.
Một lệnh, nhiều file
Lệnh whisper nhận nhiều file âm thanh cùng lúc và cho ra văn bản cùng phụ đề có mốc thời gian.
Dùng được trong code Python
Chỉ cần nạp mô hình rồi gọi hàm transcribe là có chuỗi chữ, tiện đưa vào ứng dụng hay kịch bản xử lý hàng loạt.
Chạy trên máy, giấy phép MIT
Cả mã nguồn và trọng số mô hình đều phát hành theo giấy phép MIT, dùng cá nhân hay thương mại đều thoải mái.
Tận dụng Whisper vào việc gì?
Dân văn phòng, nhà báo
Gỡ băng cuộc họp, buổi phỏng vấn
Chuyển file ghi âm thành văn bản để tìm ý, soạn biên bản. Nên đọc lại vì tên riêng và thuật ngữ chuyên ngành có thể bị nghe sai.
Người làm YouTube, TikTok
Làm phụ đề cho video
Chạy Whisper trên video để lấy file phụ đề srt, chỉnh lại câu chữ rồi gắn vào video.
Sinh viên, người học online
Ghi chép bài giảng
Chuyển bản ghi bài giảng hoặc podcast tiếng Anh thành chữ để tra cứu và học từ vựng.
Người học ngoại ngữ, nghiên cứu
Hiểu video tiếng nước ngoài
Dùng tính năng dịch sang tiếng Anh để nắm nội dung bài nói bằng ngôn ngữ khác rồi dịch tiếp sang tiếng Việt.
Lập trình viên
Tích hợp nhận dạng giọng nói vào ứng dụng
Gọi Whisper từ Python để xây công cụ ghi chú giọng nói hay tự động hoá việc chuyển file ghi âm thành chữ.
Cần chuẩn bị gì?
- Python (README viết mã tương thích Python 3.8 đến 3.11) và PyTorch.
- ffmpeg cài sẵn trên máy; có thể cần thêm Rust nếu pip báo lỗi khi cài tiktoken.
- Bộ nhớ card đồ hoạ ước tính theo README: tiny và base khoảng 1 GB, small khoảng 2 GB, medium khoảng 5 GB, turbo khoảng 6 GB, large khoảng 10 GB.
- Có thể chạy bằng CPU nhưng chậm hơn, nhất là với mô hình lớn.
Hướng dẫn cài đặt chi tiết
Cài trên Windows
Cài Python từ python.org nếu chưa có. Sau đó cài ffmpeg bằng Chocolatey hoặc Scoop (cần đã cài một trong hai). Mở PowerShell và chạy một trong hai lệnh.
choco install ffmpeg # hoặc scoop install ffmpegCài Whisper bằng pip.
pip install -U openai-whisperNếu pip báo lỗi liên quan tiktoken, cài thêm Rust theo hướng dẫn ở rust-lang.org rồi chạy lại lệnh trên.
Cài trên macOS
Cài ffmpeg bằng Homebrew trong Terminal.
brew install ffmpegCài Whisper.
pip install -U openai-whisper
Cài trên Linux
Trên Ubuntu hoặc Debian, cài ffmpeg bằng apt.
sudo apt update && sudo apt install ffmpegCài Whisper. Nên làm trong môi trường ảo Python để khỏi lẫn với gói khác.
python3 -m venv .venv source .venv/bin/activate pip install -U openai-whisper
Dùng thử lần đầu
Mở Terminal hoặc PowerShell, đi tới thư mục chứa file ghi âm (ví dụ audio.mp3). Chạy lệnh dưới để phiên âm bằng mô hình turbo.
whisper audio.mp3 --model turboVới tiếng Việt, chỉ định ngôn ngữ để Whisper khỏi đoán nhầm, và thử mô hình lớn hơn như medium nếu kết quả chưa ổn.
whisper audio.mp3 --model medium --language VietnameseMở các file kết quả (văn bản, srt, vtt...) xuất hiện trong thư mục để kiểm tra chữ và mốc thời gian.
Muốn dịch bài nói tiếng nước ngoài sang tiếng Anh, dùng tuỳ chọn dịch với mô hình đa ngôn ngữ (không dùng turbo).
whisper japanese.wav --model medium --language Japanese --task translateThử dùng trong Python nếu bạn muốn tích hợp vào ứng dụng.
import whisper model = whisper.load_model("turbo") result = model.transcribe("audio.mp3") print(result["text"])
Mẹo dùng hay
- Máy yếu thì dùng mô hình tiny, base hoặc small; muốn chính xác hơn thì medium hoặc large nếu đủ VRAM.
- Bản turbo không được huấn luyện để dịch; muốn dịch hãy dùng medium hoặc large.
- Gõ
whisper --helpđể xem toàn bộ tuỳ chọn như định dạng đầu ra. - Âm thanh sạch, ít tạp âm và mỗi lúc chỉ một người nói sẽ cho kết quả tốt hơn nhiều.
Lưu ý và hạn chế
- Chất lượng thay đổi theo ngôn ngữ; README cho biết hiệu năng khác nhau khá nhiều giữa các ngôn ngữ, nên với tiếng Việt cần đọc soát lại, nhất là tên riêng, số liệu và từ chuyên ngành.
- Whisper xử lý theo cửa sổ 30 giây và không có sẵn tính năng ghi rõ ai đang nói; muốn tách người nói cần công cụ bổ sung.
- Chỉ ghi âm khi có sự đồng ý của người nói và tuân thủ quy định riêng tư, nhất là với cuộc gọi hay cuộc họp có người ngoài.
Câu hỏi thường gặp
Whisper có hiểu tiếng Việt không?
Có, tiếng Việt nằm trong số ngôn ngữ được hỗ trợ. Hãy thêm tuỳ chọn ngôn ngữ và thử mô hình lớn hơn nếu chữ chưa chính xác, đồng thời luôn đọc soát lại.
Có cần Internet và có tốn phí không?
Miễn phí, giấy phép MIT. Chỉ cần Internet để cài đặt và tải mô hình lần đầu; sau đó phiên âm chạy trên máy bạn.
Có giao diện bấm chuột không?
Bản gốc chỉ có dòng lệnh và thư viện Python. Nếu muốn giao diện, bạn có thể tìm các ứng dụng của cộng đồng xây trên Whisper, hoặc các bản tối ưu như whisper.cpp và faster-whisper.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/openai/whisper.gitRepo tương tự nên xem
whisper.cpp
ggml-org / whisper.cpp
Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python
faster-whisper
SYSTRAN / faster-whisper
Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.
WhisperX
m-bain / whisperX
Chuyển giọng nói thành chữ kèm mốc thời gian từng từ và nhãn người nói, dựa trên Whisper.