Trải nghiệm khi dùng whisper.cpp
Với người dùng bình thường, cách dùng thực tế là qua dòng lệnh. Bạn tải mã nguồn, biên dịch bằng CMake (vài lệnh), tải một mô hình theo kích cỡ bạn chọn rồi chạy chương trình whisper-cli với đường dẫn file âm thanh. Vài chục giây sau, văn bản chép lời hiện ngay trong Terminal.
Có một điểm hay vấp: whisper-cli trong ví dụ của README chỉ đọc file WAV 16-bit, nên file mp3 hay mp4 phải đổi sang WAV 16 kHz bằng FFmpeg trước. README đưa sẵn lệnh ffmpeg để làm việc này. Xong rồi bạn có thể yên tâm chép lời cho cả buổi họp, bài giảng mà không gửi âm thanh lên mạng.
Ngoài chép lời từ file, repo còn có ví dụ nghe micro theo thời gian thực, máy chủ HTTP nhỏ (whisper-server) để ứng dụng khác gọi vào, và bản chạy trên iPhone, Android và trình duyệt. Muốn ứng dụng có giao diện bấm chuột thì nên tìm phần mềm dùng whisper.cpp ở bên trong, vì bản thân repo là công cụ cho nhà phát triển.
Tính năng nổi bật
Nhẹ và không phụ thuộc
Viết bằng C/C++ thuần, không cần Python, không cấp phát bộ nhớ trong lúc chạy, dễ nhúng vào ứng dụng khác.
Tối ưu cho nhiều phần cứng
Chạy tốt trên CPU, chip Apple (Metal, Core ML), card NVIDIA (CUDA), Vulkan, AMD ROCm, OpenVINO và nhiều thiết bị khác.
Mô hình nhiều kích cỡ
Từ tiny đến large, có bảng dung lượng và bộ nhớ tham khảo trong README (ví dụ tiny khoảng 75 MiB, large khoảng 2,9 GiB trên ổ đĩa).
Lượng tử hoá
Nén mô hình để tiết kiệm đĩa và bộ nhớ, có hướng dẫn tạo bản q5_0.
Máy chủ và ví dụ thời gian thực
Có whisper-server để gọi qua HTTP và ví dụ stream chép lời từ micro.
Chạy trên điện thoại và web
Có ví dụ cho iOS, Android, WebAssembly và nhiều ngôn ngữ lập trình khác.
Tận dụng whisper.cpp vào việc gì?
Dân văn phòng, sinh viên
Chép lời cuộc họp, bài giảng, podcast offline
Không phải gửi âm thanh nhạy cảm lên dịch vụ nào, vì mọi xử lý nằm trên máy bạn.
Người làm YouTube, TikTok
Làm phụ đề cho video
Chép lời video của bạn, rồi chỉnh sửa và dùng làm phụ đề trong phần mềm dựng.
Lập trình viên
Nhúng nhận dạng giọng nói vào ứng dụng
Dùng thư viện C hoặc whisper-server để thêm tính năng chép lời vào app desktop, di động hoặc dịch vụ nội bộ.
Người thích tự chế
Lệnh bằng giọng nói trên thiết bị nhỏ
Chạy các mô hình nhỏ trên máy cấu hình thấp hoặc Raspberry Pi theo các ví dụ trong repo.
Cần chuẩn bị gì?
- Máy Windows, macOS hoặc Linux; hỗ trợ cả CPU thường nên không bắt buộc card đồ hoạ.
- Công cụ biên dịch: Git, CMake và trình biên dịch C++ (Visual Studio Build Tools trên Windows).
- RAM theo mô hình: bảng trong README ghi base khoảng 388 MB, small khoảng 852 MB, medium khoảng 2,1 GB, large khoảng 3,9 GB.
- FFmpeg để đổi file âm thanh sang WAV 16 kHz.
Hướng dẫn cài đặt chi tiết
Cài trên Biên dịch từ mã nguồn
Cài Git, CMake và trình biên dịch C++ cho hệ điều hành của bạn. Rồi tải mã nguồn và vào thư mục dự án.
git clone https://github.com/ggml-org/whisper.cpp.git cd whisper.cppTải một mô hình theo định dạng ggml. Ví dụ bản base.en (tiếng Anh). Với tiếng Việt hãy dùng bản đa ngôn ngữ như base, small, medium hoặc large; danh sách nằm trong thư mục models của repo.
sh ./models/download-ggml-model.sh baseBiên dịch bằng CMake.
cmake -B build cmake --build build -j --config Release
Cài trên Có GPU
Muốn dùng card NVIDIA, cài CUDA Toolkit trước rồi biên dịch lại với tuỳ chọn CUDA.
cmake -B build -DGGML_CUDA=1 cmake --build build -j --config ReleaseCard AMD, Intel hoặc card khác hỗ trợ Vulkan có thể dùng tuỳ chọn Vulkan; máy Mac chip Apple có thể dùng Core ML theo hướng dẫn riêng trong README.
cmake -B build -DGGML_VULKAN=1 cmake --build build -j --config Release
Cài trên Docker
README có image chính thức. Lệnh dưới tải mô hình base về thư mục /tmp/whisper.cpp-models trên máy bạn (đổi đường dẫn nếu cần).
mkdir -p /tmp/whisper.cpp-models docker run -it --rm -v /tmp/whisper.cpp-models:/models ghcr.io/ggml-org/whisper.cpp:main download-ggml-model.sh base /modelsChép lời một file WAV trong thư mục âm thanh bạn đã gắn vào, ví dụ /tmp/whisper.cpp-audio.
docker run -it --rm -v /tmp/whisper.cpp-models:/models -v /tmp/whisper.cpp-audio:/audios ghcr.io/ggml-org/whisper.cpp:main whisper-cli -m /models/ggml-base.bin -f /audios/file.wav
Dùng thử lần đầu
Chuyển file âm thanh của bạn sang WAV 16 kHz một kênh bằng FFmpeg (lệnh có trong README).
ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wavChạy chép lời với mô hình đã tải. Trên Linux và macOS đường dẫn như dưới; trên Windows file chạy nằm trong thư mục build\bin\Release.
./build/bin/whisper-cli -m models/ggml-base.bin -f output.wavChạy bản thử mẫu của repo để kiểm tra mọi thứ hoạt động, dùng file mẫu có sẵn.
./build/bin/whisper-cli -f samples/jfk.wavThử các mô hình lớn hơn như small hoặc medium nếu kết quả chưa đủ chính xác, vì bản nhỏ dễ nhầm với giọng khó và ngôn ngữ ít dữ liệu.
Chạy whisper-cli -h để xem các tuỳ chọn khác như chọn ngôn ngữ, xuất phụ đề và mốc thời gian.
Mẹo dùng hay
- Mô hình có đuôi .en chỉ dành cho tiếng Anh; với tiếng Việt hãy chọn bản đa ngôn ngữ (không có .en).
- Máy yếu thì dùng bản tiny hoặc base, máy mạnh dùng small, medium hoặc large để chính xác hơn.
- Dùng lượng tử hoá q5_0 để tiết kiệm bộ nhớ khi chạy trên thiết bị nhỏ.
- Để tiện dùng hơn, tìm các ứng dụng đồ hoạ xây trên whisper.cpp; nhớ kiểm tra độ tin cậy trước khi tải.
Lưu ý và hạn chế
- whisper.cpp chủ yếu là công cụ dòng lệnh và thư viện, không phải ứng dụng bấm chuột sẵn.
- Chất lượng tiếng Việt phụ thuộc kích cỡ mô hình và chất lượng ghi âm; kết quả vẫn cần đọc lại và sửa lỗi, nhất là tên riêng và số.
- Nếu ghi âm có người khác, hãy xin phép và tuân thủ quy định về ghi âm và quyền riêng tư.
Câu hỏi thường gặp
whisper.cpp có chép lời tiếng Việt không?
Có thể, nếu bạn dùng mô hình Whisper đa ngôn ngữ (không có đuôi .en). Mô hình càng lớn càng chính xác nhưng chạy chậm và tốn RAM hơn.
Có cần Internet không?
Chỉ cần ở bước tải mã nguồn và mô hình. Sau đó chép lời hoàn toàn offline.
Khác gì bản Whisper gốc của OpenAI?
whisper.cpp viết bằng C/C++, nhẹ và chạy tốt trên CPU hoặc thiết bị nhỏ, không cần Python. Bản gốc cần môi trường Python và thường dùng với GPU.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/ggml-org/whisper.cpp.gitRepo tương tự nên xem
Whisper
openai / whisper
Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ
faster-whisper
SYSTRAN / faster-whisper
Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.
Buzz
chidiwilliams / buzz
Ứng dụng máy tính gỡ băng và dịch âm thanh offline bằng Whisper, xuất phụ đề SRT.