Trải nghiệm khi dùng VibeVoice
Phần dễ cảm nhận nhất với người Việt là VibeVoice-ASR. Bạn đưa vào một file ghi âm họp hoặc phỏng vấn dài, mô hình trả về bản chép lời có đánh dấu ai nói, nói vào lúc nào và nói gì, trong cùng một lượt xử lý. README còn cho phép thêm từ khoá riêng (tên người, thuật ngữ) để tăng độ chính xác. Trong bảng đánh giá của repo có cả tiếng Việt với tỷ lệ lỗi từ khoảng 14,4 phần trăm trên một bộ dữ liệu thử.
Bản Realtime là mô hình đọc nhỏ khoảng 0,5 tỷ tham số, nhận văn bản dạng luồng và phát âm thanh sau chừng vài trăm mili giây. Tài liệu ghi rõ nó chủ yếu dành cho tiếng Anh và chỉ một người nói; các giọng đa ngôn ngữ chỉ là thử nghiệm.
Nhìn chung đây là bộ công cụ dành cho nhà phát triển: bạn cài bằng Docker của NVIDIA hoặc môi trường tương đương, chạy script có sẵn để mở demo web hoặc xử lý file từ dòng lệnh. Muốn thử mà không cài gì, README cung cấp các trang Playground và notebook Colab.
Tính năng nổi bật
Nhận dạng giọng dài 60 phút
VibeVoice-ASR xử lý một lần tới 60 phút âm thanh, giữ ngữ cảnh toàn bài thay vì cắt nhỏ, đồng thời tách người nói và gắn mốc thời gian.
Từ khoá riêng (hotwords)
Cho phép nhập tên riêng, thuật ngữ chuyên ngành để mô hình nhận ra chính xác hơn.
Hơn 50 ngôn ngữ
ASR tự nhận ngôn ngữ, xử lý được cả khi người nói đổi ngôn ngữ giữa câu; có tiếng Việt trong bảng đánh giá.
Đọc theo thời gian thực
Bản Realtime-0.5B nhận chữ dạng luồng và đọc với độ trễ thấp, hợp để ghép với trợ lý AI.
Streaming và vLLM
Có biến thể nhận dạng khi âm thanh đang đến, và hỗ trợ vLLM để suy luận nhanh hơn.
Tinh chỉnh bằng LoRA
Repo kèm mã tinh chỉnh LoRA cho bản ASR để thích nghi với dữ liệu riêng.
Tận dụng VibeVoice vào việc gì?
Dân văn phòng, nhà báo
Chép lời cuộc họp và phỏng vấn dài
Đưa file ghi âm họp vài chục phút để lấy biên bản có tách người nói và mốc giờ, rồi tự rà soát lại cho chính xác.
Người làm video, giáo viên
Làm phụ đề cho video dài
Chép lời bài giảng hoặc video dài, kèm mốc thời gian để làm file phụ đề.
Lập trình viên
Thử nghiệm giọng đọc thời gian thực
Nối mô hình ngôn ngữ với bản Realtime để thử bot trả lời bằng giọng nói.
Sinh viên, nhà nghiên cứu
Nghiên cứu mô hình giọng nói
Đọc tài liệu kỹ thuật, đối chiếu và tinh chỉnh với dữ liệu riêng.
Cần chuẩn bị gì?
- Linux với NVIDIA GPU; README khuyến nghị dùng NVIDIA Deep Learning Container (bản PyTorch 24.07 đến 25.12 đã kiểm chứng).
- Bản ASR 7B tham số, nên cần card có nhiều VRAM; README không nêu con số cụ thể trong phần đã đọc.
- Bản Realtime nhỏ hơn; README ghi NVIDIA T4 và Mac M4 Pro đạt thời gian thực trong thử nghiệm của họ.
- Python, Git và FFmpeg cho demo ASR.
Hướng dẫn cài đặt chi tiết
Cài trên Docker (ASR)
README khuyên dùng container PyTorch của NVIDIA để quản lý CUDA. Lệnh dưới mở container có GPU, theo đúng ví dụ chính thức. Nếu image chưa có flash-attention, cần tự cài.
sudo docker run --privileged --net=host --ipc=host --ulimit memlock=-1:-1 --ulimit stack=-1:-1 --gpus all --rm -it nvcr.io/nvidia/pytorch:25.12-py3Trong container, tải mã nguồn và cài ở chế độ chỉnh sửa.
git clone https://github.com/microsoft/VibeVoice.git cd VibeVoice pip install -e .
Cài trên Realtime TTS
Cách cài giống ASR nhưng thêm nhóm phụ thuộc streamingtts khi cài.
git clone https://github.com/microsoft/VibeVoice.git cd VibeVoice pip install -e .[streamingtts]Muốn thử nhanh không cài gì, README có notebook Google Colab cho bản Realtime và trang Playground cho bản ASR.
Dùng thử lần đầu
Với ASR, cài thêm FFmpeg cho demo rồi mở giao diện Gradio, dùng đường dẫn mô hình microsoft/VibeVoice-ASR.
apt update && apt install ffmpeg -y python demo/vibevoice_asr_gradio_demo.py --model_path microsoft/VibeVoice-ASR --shareLưu ý: tuỳ chọn --share tạo link công khai tạm thời. Chỉ dùng khi bạn hiểu rủi ro, và đừng tải lên ghi âm nhạy cảm; bỏ tuỳ chọn này nếu chỉ dùng trên máy mình.
Hoặc xử lý trực tiếp một file âm thanh bằng dòng lệnh.
python demo/vibevoice_asr_inference_from_file.py --model_path microsoft/VibeVoice-ASR --audio_files DUONG_DAN_FILE_AM_THANHVới Realtime TTS, chạy demo websocket hoặc đọc từ file văn bản, theo ví dụ trong tài liệu bản Realtime.
python demo/vibevoice_realtime_demo.py --model_path microsoft/VibeVoice-Realtime-0.5BKiểm tra lại bản chép lời bằng tai, nhất là tên riêng, số và thuật ngữ, rồi sửa tay nếu cần.
Mẹo dùng hay
- Thử trang Playground hoặc Colab trước khi cài để biết chất lượng có hợp nhu cầu không.
- Với tên riêng hoặc thuật ngữ công ty, nhập hotwords để cải thiện độ chính xác ASR.
- Bản Realtime nên dùng với văn bản tiếng Anh, tránh đưa vào mã, công thức hoặc câu quá ngắn (dưới 3 từ làm mô hình kém ổn định theo tài liệu).
- Đọc kỹ phần Risks and Limitations trong README trước khi áp dụng thực tế.
Lưu ý và hạn chế
- Mã chạy của VibeVoice-TTS (bản đa người nói 90 phút) đã được Microsoft gỡ khỏi repo vì bị dùng sai mục đích; mục cài đặt của bản đó ghi là đã tắt. Hiện bạn chủ yếu dùng được ASR và Realtime.
- README cảnh báo nguy cơ deepfake và thông tin sai lệch từ giọng nói tổng hợp, và nói mô hình dành cho nghiên cứu, không khuyến nghị dùng trong sản phẩm thật nếu chưa thử nghiệm thêm. Không dùng để mạo danh hay lừa đảo.
- Chưa có hướng dẫn cài cho người dùng Windows phổ thông; cần nền tảng Linux và GPU NVIDIA.
Câu hỏi thường gặp
VibeVoice có chép lời tiếng Việt không?
Bản ASR hỗ trợ hơn 50 ngôn ngữ và bảng đánh giá trong tài liệu có tiếng Việt. Chất lượng thực tế cần bạn tự thử trên giọng và chất lượng âm thanh của mình.
Còn dùng được bản đọc nhiều người nói 90 phút không?
Theo README, mã của VibeVoice-TTS đã được gỡ và phần cài đặt bị tắt do bị lạm dụng. Hiện bạn dùng bản Realtime một người nói hoặc bản ASR.
Có miễn phí không?
Có, repo dùng giấy phép MIT. Microsoft vẫn nói rõ đây là dự án nghiên cứu và phát triển, chưa khuyến nghị dùng thương mại khi chưa kiểm thử thêm.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/microsoft/VibeVoice.gitRepo tương tự nên xem
whisper.cpp
ggml-org / whisper.cpp
Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python
Whisper
openai / whisper
Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ
faster-whisper
SYSTRAN / faster-whisper
Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.