Chuyển đến nội dung

openai / whisper

Whisper

Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ

Whisper là mô hình nhận dạng giọng nói mã nguồn mở của OpenAI, nghe file âm thanh và viết ra lời thoại, kể cả nhiều thứ tiếng và có thể dịch sang tiếng Anh. Bạn dùng nó qua một lệnh đơn giản hoặc vài dòng Python, mọi thứ chạy trên máy mình nên không phải đưa bản ghi âm lên mạng.

  • 112.802 sao
  • 13.681 fork
  • Python
  • Cập nhật 2 tháng trước
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Dòng lệnh (CLI), Mô hình AI
Chạy trên
Windows, macOS, Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng Whisper

Bạn cài Whisper bằng pip và cài thêm ffmpeg (công cụ xử lý âm thanh, video), sau đó mở Terminal (cửa sổ gõ lệnh) tại thư mục có file ghi âm và gõ một lệnh kèm tên file. Lần đầu Whisper tải mô hình về, rồi bắt đầu in từng đoạn lời thoại kèm mốc thời gian ngay trên màn hình.

Khi chạy xong, cạnh file gốc xuất hiện các file kết quả như văn bản thuần và phụ đề (srt, vtt). Với một buổi họp hay video phỏng vấn, bạn có thể mở file phụ đề trong trình phát video hoặc chỉnh lại vài chỗ nghe sai trước khi dùng.

Whisper không có giao diện bấm chuột, nên người không quen Terminal sẽ thấy hơi lạ lúc đầu. Đổi lại nó rất đơn giản: một lệnh, một file, ra chữ. Muốn tích hợp vào ứng dụng riêng thì chỉ cần vài dòng Python.

Tính năng nổi bật

Nhận dạng nhiều ngôn ngữ

Một mô hình nghe được nhiều thứ tiếng, và bạn có thể chỉ định ngôn ngữ cho chắc. Chất lượng khác nhau tuỳ ngôn ngữ, tiếng Anh thường tốt nhất.

Dịch giọng nói sang tiếng Anh

Với các mô hình đa ngôn ngữ, thêm tuỳ chọn dịch là có bản chữ tiếng Anh từ lời nói của thứ tiếng khác.

Nhiều cỡ mô hình

Từ tiny nhẹ, nhanh đến large chính xác hơn nhưng nặng; còn có bản turbo nhanh, tối ưu từ large-v3. README nêu rõ lượng VRAM ước tính cho từng cỡ.

Một lệnh, nhiều file

Lệnh whisper nhận nhiều file âm thanh cùng lúc và cho ra văn bản cùng phụ đề có mốc thời gian.

Dùng được trong code Python

Chỉ cần nạp mô hình rồi gọi hàm transcribe là có chuỗi chữ, tiện đưa vào ứng dụng hay kịch bản xử lý hàng loạt.

Chạy trên máy, giấy phép MIT

Cả mã nguồn và trọng số mô hình đều phát hành theo giấy phép MIT, dùng cá nhân hay thương mại đều thoải mái.

Tận dụng Whisper vào việc gì?

Dân văn phòng, nhà báo

Gỡ băng cuộc họp, buổi phỏng vấn

Chuyển file ghi âm thành văn bản để tìm ý, soạn biên bản. Nên đọc lại vì tên riêng và thuật ngữ chuyên ngành có thể bị nghe sai.

Người làm YouTube, TikTok

Làm phụ đề cho video

Chạy Whisper trên video để lấy file phụ đề srt, chỉnh lại câu chữ rồi gắn vào video.

Sinh viên, người học online

Ghi chép bài giảng

Chuyển bản ghi bài giảng hoặc podcast tiếng Anh thành chữ để tra cứu và học từ vựng.

Người học ngoại ngữ, nghiên cứu

Hiểu video tiếng nước ngoài

Dùng tính năng dịch sang tiếng Anh để nắm nội dung bài nói bằng ngôn ngữ khác rồi dịch tiếp sang tiếng Việt.

Lập trình viên

Tích hợp nhận dạng giọng nói vào ứng dụng

Gọi Whisper từ Python để xây công cụ ghi chú giọng nói hay tự động hoá việc chuyển file ghi âm thành chữ.

Cần chuẩn bị gì?

  • Python (README viết mã tương thích Python 3.8 đến 3.11) và PyTorch.
  • ffmpeg cài sẵn trên máy; có thể cần thêm Rust nếu pip báo lỗi khi cài tiktoken.
  • Bộ nhớ card đồ hoạ ước tính theo README: tiny và base khoảng 1 GB, small khoảng 2 GB, medium khoảng 5 GB, turbo khoảng 6 GB, large khoảng 10 GB.
  • Có thể chạy bằng CPU nhưng chậm hơn, nhất là với mô hình lớn.

Hướng dẫn cài đặt chi tiết

Cài trên Windows

  1. Cài Python từ python.org nếu chưa có. Sau đó cài ffmpeg bằng Chocolatey hoặc Scoop (cần đã cài một trong hai). Mở PowerShell và chạy một trong hai lệnh.

    PowerShell
    choco install ffmpeg
    # hoặc
    scoop install ffmpeg
  2. Cài Whisper bằng pip.

    PowerShell
    pip install -U openai-whisper
  3. Nếu pip báo lỗi liên quan tiktoken, cài thêm Rust theo hướng dẫn ở rust-lang.org rồi chạy lại lệnh trên.

Cài trên macOS

  1. Cài ffmpeg bằng Homebrew trong Terminal.

    Terminal
    brew install ffmpeg
  2. Cài Whisper.

    Terminal
    pip install -U openai-whisper

Cài trên Linux

  1. Trên Ubuntu hoặc Debian, cài ffmpeg bằng apt.

    Terminal
    sudo apt update && sudo apt install ffmpeg
  2. Cài Whisper. Nên làm trong môi trường ảo Python để khỏi lẫn với gói khác.

    Terminal
    python3 -m venv .venv
    source .venv/bin/activate
    pip install -U openai-whisper

Dùng thử lần đầu

  1. Mở Terminal hoặc PowerShell, đi tới thư mục chứa file ghi âm (ví dụ audio.mp3). Chạy lệnh dưới để phiên âm bằng mô hình turbo.

    Terminal
    whisper audio.mp3 --model turbo
  2. Với tiếng Việt, chỉ định ngôn ngữ để Whisper khỏi đoán nhầm, và thử mô hình lớn hơn như medium nếu kết quả chưa ổn.

    Terminal
    whisper audio.mp3 --model medium --language Vietnamese
  3. Mở các file kết quả (văn bản, srt, vtt...) xuất hiện trong thư mục để kiểm tra chữ và mốc thời gian.

  4. Muốn dịch bài nói tiếng nước ngoài sang tiếng Anh, dùng tuỳ chọn dịch với mô hình đa ngôn ngữ (không dùng turbo).

    Terminal
    whisper japanese.wav --model medium --language Japanese --task translate
  5. Thử dùng trong Python nếu bạn muốn tích hợp vào ứng dụng.

    Python
    import whisper
    
    model = whisper.load_model("turbo")
    result = model.transcribe("audio.mp3")
    print(result["text"])

Mẹo dùng hay

  • Máy yếu thì dùng mô hình tiny, base hoặc small; muốn chính xác hơn thì medium hoặc large nếu đủ VRAM.
  • Bản turbo không được huấn luyện để dịch; muốn dịch hãy dùng medium hoặc large.
  • Gõ whisper --help để xem toàn bộ tuỳ chọn như định dạng đầu ra.
  • Âm thanh sạch, ít tạp âm và mỗi lúc chỉ một người nói sẽ cho kết quả tốt hơn nhiều.

Lưu ý và hạn chế

  • Chất lượng thay đổi theo ngôn ngữ; README cho biết hiệu năng khác nhau khá nhiều giữa các ngôn ngữ, nên với tiếng Việt cần đọc soát lại, nhất là tên riêng, số liệu và từ chuyên ngành.
  • Whisper xử lý theo cửa sổ 30 giây và không có sẵn tính năng ghi rõ ai đang nói; muốn tách người nói cần công cụ bổ sung.
  • Chỉ ghi âm khi có sự đồng ý của người nói và tuân thủ quy định riêng tư, nhất là với cuộc gọi hay cuộc họp có người ngoài.

Câu hỏi thường gặp

Whisper có hiểu tiếng Việt không?

Có, tiếng Việt nằm trong số ngôn ngữ được hỗ trợ. Hãy thêm tuỳ chọn ngôn ngữ và thử mô hình lớn hơn nếu chữ chưa chính xác, đồng thời luôn đọc soát lại.

Có cần Internet và có tốn phí không?

Miễn phí, giấy phép MIT. Chỉ cần Internet để cài đặt và tải mô hình lần đầu; sau đó phiên âm chạy trên máy bạn.

Có giao diện bấm chuột không?

Bản gốc chỉ có dòng lệnh và thư viện Python. Nếu muốn giao diện, bạn có thể tìm các ứng dụng của cộng đồng xây trên Whisper, hoặc các bản tối ưu như whisper.cpp và faster-whisper.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/openai/whisper.git

Repo tương tự nên xem

Giọng nói & âm thanh AI55,2K

whisper.cpp

ggml-org / whisper.cpp

Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python

KhóWindowsmacOSLinuxAndroid+2
Giọng nói & âm thanh AI26,8K

faster-whisper

SYSTRAN / faster-whisper

Thư viện chạy Whisper nhanh hơn và tốn ít bộ nhớ hơn để chuyển giọng nói thành chữ.

VừaWindowsmacOSLinuxPython
Giọng nói & âm thanh AI25,4K

WhisperX

m-bain / whisperX

Chuyển giọng nói thành chữ kèm mốc thời gian từng từ và nhãn người nói, dựa trên Whisper.

VừaWindowsmacOSLinuxPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Giọng nói & âm thanh AI

Giọng nói & âm thanh AI65,2K

GPT-SoVITS

RVC-Boss / GPT-SoVITS

Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ

VừaWindowsmacOSLinuxDocker+1
Giọng nói & âm thanh AI57,2K

VibeVoice

microsoft / VibeVoice

Bộ mô hình giọng nói của Microsoft: nhận dạng giọng nói dài 60 phút và đọc văn bản theo thời gian thực

KhóLinuxDockerPython
Giọng nói & âm thanh AI40K

ChatTTS

2noise / ChatTTS

Mô hình đọc văn bản cho hội thoại, giọng tự nhiên có cả tiếng cười và quãng ngắt nghỉ

KhóWindowsLinuxmacOSPython
Giọng nói & âm thanh AI39,3K

RVC (Retrieval-based Voice Conversion WebUI)

RVC-Project / Retrieval-based-Voice-Conversion-WebUI

Đổi giọng nói thành giọng khác chỉ cần khoảng 10 phút dữ liệu để huấn luyện, có giao diện web

KhóWindowsLinuxPython
Giọng nói & âm thanh AI38,3K

OpenVoice

myshell-ai / OpenVoice

Nhân bản âm sắc giọng nói từ một đoạn mẫu ngắn và cho đọc bằng nhiều ngôn ngữ, giấy phép MIT

KhóLinuxWindowsDockerPython
Giọng nói & âm thanh AI33,8K

Fish Speech

fishaudio / fish-speech

Mô hình đọc văn bản thành giọng nói, nhân bản giọng và điều khiển cảm xúc bằng thẻ trong câu.

KhóLinuxDockerPython

Xem cả 20 repo Giọng nói & âm thanh AI Về Kho Repo