Chuyển đến nội dung

microsoft / VibeVoice

VibeVoice

Bộ mô hình giọng nói của Microsoft: nhận dạng giọng nói dài 60 phút và đọc văn bản theo thời gian thực

VibeVoice là họ mô hình giọng nói mã nguồn mở của Microsoft gồm ba phần: VibeVoice-ASR (chuyển giọng nói thành chữ, tách người nói và dấu thời gian cho file dài tới 60 phút), VibeVoice-Realtime (đọc văn bản gần như tức thời) và VibeVoice-TTS. Cần biết ngay: mã của bản TTS nhiều người nói đã bị gỡ khỏi repo do bị lạm dụng, và Microsoft nói mô hình dành cho nghiên cứu, chưa khuyến nghị dùng cho sản phẩm thật.

  • 57.208 sao
  • 6.464 fork
  • Python
  • Cập nhật 1 tháng trước
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Mô hình AI
Chạy trên
Linux, Docker, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng VibeVoice

Phần dễ cảm nhận nhất với người Việt là VibeVoice-ASR. Bạn đưa vào một file ghi âm họp hoặc phỏng vấn dài, mô hình trả về bản chép lời có đánh dấu ai nói, nói vào lúc nào và nói gì, trong cùng một lượt xử lý. README còn cho phép thêm từ khoá riêng (tên người, thuật ngữ) để tăng độ chính xác. Trong bảng đánh giá của repo có cả tiếng Việt với tỷ lệ lỗi từ khoảng 14,4 phần trăm trên một bộ dữ liệu thử.

Bản Realtime là mô hình đọc nhỏ khoảng 0,5 tỷ tham số, nhận văn bản dạng luồng và phát âm thanh sau chừng vài trăm mili giây. Tài liệu ghi rõ nó chủ yếu dành cho tiếng Anh và chỉ một người nói; các giọng đa ngôn ngữ chỉ là thử nghiệm.

Nhìn chung đây là bộ công cụ dành cho nhà phát triển: bạn cài bằng Docker của NVIDIA hoặc môi trường tương đương, chạy script có sẵn để mở demo web hoặc xử lý file từ dòng lệnh. Muốn thử mà không cài gì, README cung cấp các trang Playground và notebook Colab.

Tính năng nổi bật

Nhận dạng giọng dài 60 phút

VibeVoice-ASR xử lý một lần tới 60 phút âm thanh, giữ ngữ cảnh toàn bài thay vì cắt nhỏ, đồng thời tách người nói và gắn mốc thời gian.

Từ khoá riêng (hotwords)

Cho phép nhập tên riêng, thuật ngữ chuyên ngành để mô hình nhận ra chính xác hơn.

Hơn 50 ngôn ngữ

ASR tự nhận ngôn ngữ, xử lý được cả khi người nói đổi ngôn ngữ giữa câu; có tiếng Việt trong bảng đánh giá.

Đọc theo thời gian thực

Bản Realtime-0.5B nhận chữ dạng luồng và đọc với độ trễ thấp, hợp để ghép với trợ lý AI.

Streaming và vLLM

Có biến thể nhận dạng khi âm thanh đang đến, và hỗ trợ vLLM để suy luận nhanh hơn.

Tinh chỉnh bằng LoRA

Repo kèm mã tinh chỉnh LoRA cho bản ASR để thích nghi với dữ liệu riêng.

Tận dụng VibeVoice vào việc gì?

Dân văn phòng, nhà báo

Chép lời cuộc họp và phỏng vấn dài

Đưa file ghi âm họp vài chục phút để lấy biên bản có tách người nói và mốc giờ, rồi tự rà soát lại cho chính xác.

Người làm video, giáo viên

Làm phụ đề cho video dài

Chép lời bài giảng hoặc video dài, kèm mốc thời gian để làm file phụ đề.

Lập trình viên

Thử nghiệm giọng đọc thời gian thực

Nối mô hình ngôn ngữ với bản Realtime để thử bot trả lời bằng giọng nói.

Sinh viên, nhà nghiên cứu

Nghiên cứu mô hình giọng nói

Đọc tài liệu kỹ thuật, đối chiếu và tinh chỉnh với dữ liệu riêng.

Cần chuẩn bị gì?

  • Linux với NVIDIA GPU; README khuyến nghị dùng NVIDIA Deep Learning Container (bản PyTorch 24.07 đến 25.12 đã kiểm chứng).
  • Bản ASR 7B tham số, nên cần card có nhiều VRAM; README không nêu con số cụ thể trong phần đã đọc.
  • Bản Realtime nhỏ hơn; README ghi NVIDIA T4 và Mac M4 Pro đạt thời gian thực trong thử nghiệm của họ.
  • Python, Git và FFmpeg cho demo ASR.

Hướng dẫn cài đặt chi tiết

Cài trên Docker (ASR)

  1. README khuyên dùng container PyTorch của NVIDIA để quản lý CUDA. Lệnh dưới mở container có GPU, theo đúng ví dụ chính thức. Nếu image chưa có flash-attention, cần tự cài.

    Terminal
    sudo docker run --privileged --net=host --ipc=host --ulimit memlock=-1:-1 --ulimit stack=-1:-1 --gpus all --rm -it nvcr.io/nvidia/pytorch:25.12-py3
  2. Trong container, tải mã nguồn và cài ở chế độ chỉnh sửa.

    Terminal
    git clone https://github.com/microsoft/VibeVoice.git
    cd VibeVoice
    pip install -e .

Cài trên Realtime TTS

  1. Cách cài giống ASR nhưng thêm nhóm phụ thuộc streamingtts khi cài.

    Terminal
    git clone https://github.com/microsoft/VibeVoice.git
    cd VibeVoice
    pip install -e .[streamingtts]
  2. Muốn thử nhanh không cài gì, README có notebook Google Colab cho bản Realtime và trang Playground cho bản ASR.

Dùng thử lần đầu

  1. Với ASR, cài thêm FFmpeg cho demo rồi mở giao diện Gradio, dùng đường dẫn mô hình microsoft/VibeVoice-ASR.

    Terminal
    apt update && apt install ffmpeg -y
    python demo/vibevoice_asr_gradio_demo.py --model_path microsoft/VibeVoice-ASR --share
  2. Lưu ý: tuỳ chọn --share tạo link công khai tạm thời. Chỉ dùng khi bạn hiểu rủi ro, và đừng tải lên ghi âm nhạy cảm; bỏ tuỳ chọn này nếu chỉ dùng trên máy mình.

  3. Hoặc xử lý trực tiếp một file âm thanh bằng dòng lệnh.

    Terminal
    python demo/vibevoice_asr_inference_from_file.py --model_path microsoft/VibeVoice-ASR --audio_files DUONG_DAN_FILE_AM_THANH
  4. Với Realtime TTS, chạy demo websocket hoặc đọc từ file văn bản, theo ví dụ trong tài liệu bản Realtime.

    Terminal
    python demo/vibevoice_realtime_demo.py --model_path microsoft/VibeVoice-Realtime-0.5B
  5. Kiểm tra lại bản chép lời bằng tai, nhất là tên riêng, số và thuật ngữ, rồi sửa tay nếu cần.

Mẹo dùng hay

  • Thử trang Playground hoặc Colab trước khi cài để biết chất lượng có hợp nhu cầu không.
  • Với tên riêng hoặc thuật ngữ công ty, nhập hotwords để cải thiện độ chính xác ASR.
  • Bản Realtime nên dùng với văn bản tiếng Anh, tránh đưa vào mã, công thức hoặc câu quá ngắn (dưới 3 từ làm mô hình kém ổn định theo tài liệu).
  • Đọc kỹ phần Risks and Limitations trong README trước khi áp dụng thực tế.

Lưu ý và hạn chế

  • Mã chạy của VibeVoice-TTS (bản đa người nói 90 phút) đã được Microsoft gỡ khỏi repo vì bị dùng sai mục đích; mục cài đặt của bản đó ghi là đã tắt. Hiện bạn chủ yếu dùng được ASR và Realtime.
  • README cảnh báo nguy cơ deepfake và thông tin sai lệch từ giọng nói tổng hợp, và nói mô hình dành cho nghiên cứu, không khuyến nghị dùng trong sản phẩm thật nếu chưa thử nghiệm thêm. Không dùng để mạo danh hay lừa đảo.
  • Chưa có hướng dẫn cài cho người dùng Windows phổ thông; cần nền tảng Linux và GPU NVIDIA.

Câu hỏi thường gặp

VibeVoice có chép lời tiếng Việt không?

Bản ASR hỗ trợ hơn 50 ngôn ngữ và bảng đánh giá trong tài liệu có tiếng Việt. Chất lượng thực tế cần bạn tự thử trên giọng và chất lượng âm thanh của mình.

Còn dùng được bản đọc nhiều người nói 90 phút không?

Theo README, mã của VibeVoice-TTS đã được gỡ và phần cài đặt bị tắt do bị lạm dụng. Hiện bạn dùng bản Realtime một người nói hoặc bản ASR.

Có miễn phí không?

Có, repo dùng giấy phép MIT. Microsoft vẫn nói rõ đây là dự án nghiên cứu và phát triển, chưa khuyến nghị dùng thương mại khi chưa kiểm thử thêm.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/microsoft/VibeVoice.git

Repo tương tự nên xem

Giọng nói & âm thanh AI55,2K

whisper.cpp

ggml-org / whisper.cpp

Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python

KhóWindowsmacOSLinuxAndroid+2
Giọng nói & âm thanh AI113K

Whisper

openai / whisper

Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI26,8K

faster-whisper

SYSTRAN / faster-whisper

Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.

VừaWindowsmacOSLinuxPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Giọng nói & âm thanh AI

Giọng nói & âm thanh AI65,2K

GPT-SoVITS

RVC-Boss / GPT-SoVITS

Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ

VừaWindowsmacOSLinuxDocker+1
Giọng nói & âm thanh AI40K

ChatTTS

2noise / ChatTTS

Mô hình đọc văn bản cho hội thoại, giọng tự nhiên có cả tiếng cười và quãng ngắt nghỉ

KhóWindowsLinuxmacOSPython
Giọng nói & âm thanh AI39,3K

RVC (Retrieval-based Voice Conversion WebUI)

RVC-Project / Retrieval-based-Voice-Conversion-WebUI

Đổi giọng nói thành giọng khác chỉ cần khoảng 10 phút dữ liệu để huấn luyện, có giao diện web

KhóWindowsLinuxPython
Giọng nói & âm thanh AI38,3K

OpenVoice

myshell-ai / OpenVoice

Nhân bản âm sắc giọng nói từ một đoạn mẫu ngắn và cho đọc bằng nhiều ngôn ngữ, giấy phép MIT

KhóLinuxWindowsDockerPython
Giọng nói & âm thanh AI33,8K

Fish Speech

fishaudio / fish-speech

Mô hình đọc văn bản thành giọng nói, nhân bản giọng và điều khiển cảm xúc bằng thẻ trong câu.

KhóLinuxDockerPython
Giọng nói & âm thanh AI27,2K

Ultimate Vocal Remover (UVR)

Anjok07 / ultimatevocalremovergui

Phần mềm có giao diện tách giọng hát khỏi nhạc nền bằng AI, chạy ngay trên máy tính của bạn.

DễWindowsmacOSLinuxPython

Xem cả 20 repo Giọng nói & âm thanh AI Về Kho Repo