Chuyển đến nội dung

pipecat-ai / pipecat

Pipecat

Khung lập trình Python để xây trợ lý giọng nói AI nói chuyện thời gian thực

Pipecat là framework (bộ khung lập trình) mã nguồn mở bằng Python để dựng các agent hội thoại bằng giọng nói và đa phương tiện chạy thời gian thực. Nó nối nhận dạng giọng nói, mô hình ngôn ngữ và tổng hợp giọng đọc thành một đường ống (pipeline), để bạn tập trung vào nội dung cuộc trò chuyện thay vì lo chuyện truyền âm thanh.

  • 17.287 sao
  • 3.122 fork
  • Python
  • Cập nhật hôm nay
  • BSD 2 (dùng tự do)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Thư viện lập trình
Chạy trên
Python, Windows, macOS, Linux
Chi phí
Miễn phí (trả phí API AI nếu dùng)

Trải nghiệm khi dùng Pipecat

Pipecat không phải ứng dụng bấm là chạy mà là bộ công cụ cho người viết code. Bạn cài công cụ dòng lệnh của nó, chạy lệnh khởi tạo dự án và trả lời vài câu hỏi để chọn kiểu bot, ví dụ bot nhận cuộc gọi điện thoại hoặc bot nói chuyện qua web hay điện thoại. Từ đó bạn có sẵn một bot chạy được để sửa tiếp.

Bên trong, bạn ghép các mắt xích: micro hoặc cuộc gọi đưa tiếng vào, dịch vụ nhận dạng giọng nói chuyển thành chữ, mô hình AI nghĩ câu trả lời, dịch vụ đọc giọng biến chữ thành tiếng và gửi lại cho người nghe. Mỗi mắt xích có thể thay bằng nhà cung cấp khác mà không phải viết lại toàn bộ.

Vì nói chuyện thời gian thực, trải nghiệm phụ thuộc nhiều vào độ trễ và chất lượng dịch vụ bạn chọn. Dự án cung cấp nhiều ví dụ để đọc, chạy và chỉnh, từ bot gọi điện, bot có luồng hội thoại cố định đến hệ thống nhiều agent phối hợp.

Tính năng nổi bật

Ưu tiên giọng nói

Tích hợp sẵn nhận dạng giọng nói, tổng hợp giọng đọc và xử lý hội thoại cho các cuộc trò chuyện phát trực tiếp, không phải chờ trọn câu.

Thay linh kiện dễ dàng

Hỗ trợ nhiều dịch vụ AI qua các gói bổ sung (extras), nên bạn đổi nhà cung cấp mô hình hay giọng đọc mà giữ nguyên khung chương trình.

Đường ống ghép từ module

Hành vi phức tạp được ghép từ các khối nhỏ, giúp dễ đọc, dễ thử và dễ thay từng phần.

Hệ thống nhiều agent

README mô tả việc nhiều agent chuyên biệt chuyển giao việc cho nhau, chạy song song hoặc phân tán trên nhiều tiến trình và máy.

SDK cho phía người dùng và công cụ CLI

Có SDK client cho JavaScript, React, iOS, Android và một số nền tảng khác, cộng với Pipecat CLI để khởi tạo dự án và triển khai.

Tận dụng Pipecat vào việc gì?

Doanh nghiệp, đội kỹ thuật chăm sóc khách hàng

Tổng đài ảo nhận và gọi điện

Dựng bot trả lời cuộc gọi, xác nhận lịch hẹn hoặc thu thập thông tin khách rồi chuyển cho nhân viên. Dự án có ví dụ cho nhiều nhà cung cấp điện thoại như Twilio, Telnyx.

Người làm sản phẩm giáo dục, giáo viên biết lập trình

Trợ lý luyện nói ngoại ngữ

Tạo bạn hội thoại để học viên luyện nói tiếng Anh, AI nghe, sửa lỗi rồi trả lời bằng giọng.

Quán ăn, cửa hàng, nhà phát triển

Trợ lý đặt chỗ, đặt hàng theo kịch bản

Dùng Pipecat Flows để định nghĩa các bước hội thoại như hỏi số người, giờ ăn, kiểm tra bàn trống rồi xác nhận.

Nhà sáng tạo, studio game

Nhân vật AI và bạn đồng hành

Làm nhân vật nói chuyện bằng giọng, có thể gắn video hoặc hình ảnh để tạo trải nghiệm tương tác.

Cần chuẩn bị gì?

  • Biết lập trình Python; Pipecat chạy trên Python 3.11 đến 3.14 (README ghi Python 3.15 chưa được hỗ trợ).
  • Công cụ uv để quản lý gói Python (README hướng dẫn cài uv trước).
  • Khoá API của các dịch vụ bạn chọn cho nhận dạng giọng, mô hình ngôn ngữ và giọng đọc; thường tính phí theo lượt dùng.
  • Micro và loa hoặc kênh kết nối như WebRTC, WebSocket hay điện thoại để thử bot.

Hướng dẫn cài đặt chi tiết

Cài trên Dự án mới (CLI)

  1. Cài uv nếu chưa có. Trên macOS hoặc Linux, mở Terminal và chạy lệnh của README. Trên Windows, xem hướng dẫn cài uv trong tài liệu chính thức của uv.

    Terminal
    curl -LsSf https://astral.sh/uv/install.sh | sh
  2. Cài công cụ dòng lệnh Pipecat rồi chạy lệnh khởi tạo; công cụ sẽ hỏi tương tác để dựng một bot điện thoại hoặc bot web/di động.

    Terminal
    uv tool install "pipecat-ai[cli]"
    pipecat init
  3. Làm tiếp theo hướng dẫn quickstart ở docs.pipecat.ai để chạy bot đầu tiên.

Cài trên Thêm vào dự án có sẵn

  1. Trong thư mục dự án Python của bạn, thêm gói lõi bằng uv.

    Terminal
    uv add pipecat-ai
  2. Mặc định chỉ có phần lõi cho nhẹ. Thêm các gói bổ sung cho dịch vụ bạn dùng, thay option bằng tên dịch vụ cần thiết theo danh sách ở tài liệu.

    Terminal
    uv add "pipecat-ai[option,...]"
  3. Nếu quen pip hơn, các lệnh pip install pipecat-ai và pip install "pipecat-ai[option,...]" cũng dùng được theo README.

Dùng thử lần đầu

  1. Chuẩn bị khoá API cho các dịch vụ mà bot sẽ dùng, và lưu vào file cấu hình môi trường theo hướng dẫn quickstart.

  2. Khởi tạo dự án mẫu bằng lệnh dưới và chọn loại bot phù hợp.

    Terminal
    pipecat init
  3. Chạy bot theo hướng dẫn trong dự án vừa sinh, rồi mở địa chỉ mà chương trình hiển thị trong Terminal để nói chuyện thử.

  4. Mở thư mục examples của repo để xem các ví dụ nhỏ, mỗi ví dụ minh hoạ một dịch vụ hoặc ý tưởng, rồi chỉnh sửa lời dặn của bot.

  5. Sau khi chạy ổn trên máy, đọc phần triển khai trong tài liệu để đưa bot lên máy chủ hoặc đám mây.

Mẹo dùng hay

  • Bắt đầu từ ví dụ nhỏ trong thư mục examples, mỗi ví dụ chỉ minh hoạ một ý nên dễ hiểu hơn dự án hoàn chỉnh.
  • Chỉ cài các gói bổ sung cho dịch vụ bạn thật sự dùng để môi trường gọn nhẹ.
  • Nếu muốn nhờ AI lập trình giúp, README giới thiệu bộ skills dành cho Claude Code và lệnh pipecat init được thiết kế để làm việc cùng trợ lý như vậy.

Lưu ý và hạn chế

  • Đây là công cụ cho lập trình viên; người không biết code sẽ khó dùng trực tiếp.
  • Chi phí và chất lượng phụ thuộc các dịch vụ bạn kết nối (nhận dạng giọng, mô hình AI, giọng đọc). Hãy kiểm tra hỗ trợ tiếng Việt của từng dịch vụ trước khi cam kết.
  • Bot gọi điện hay giả giọng người cần tuân thủ luật: báo rõ cho người nghe rằng họ đang nói chuyện với AI khi cần, xin phép trước khi ghi âm và không dùng để lừa đảo hay làm phiền.

Câu hỏi thường gặp

Pipecat có miễn phí không?

Bản thân framework miễn phí, mã nguồn mở giấy phép BSD-2-Clause. Bạn vẫn phải trả phí cho các dịch vụ AI, điện thoại hay máy chủ mà bot sử dụng.

Có làm được bot nói tiếng Việt không?

Khả năng này phụ thuộc vào dịch vụ nhận dạng giọng, mô hình và giọng đọc bạn ghép vào, vì Pipecat chỉ là khung nối chúng. Hãy kiểm tra từng nhà cung cấp có hỗ trợ tiếng Việt hay không.

Không biết lập trình có dùng được không?

Khó. Pipecat là thư viện Python. Nếu chỉ cần bot trả lời bằng giọng không cần viết code, hãy tìm sản phẩm dựng sẵn; còn nếu bạn dùng trợ lý AI lập trình thì có thể nhờ nó dựng dự án từ lệnh khởi tạo của Pipecat.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/pipecat-ai/pipecat.git

Repo tương tự nên xem

AI Agent & tự động hoá161K

Dify

langgenius / dify

Nền tảng kéo thả để dựng ứng dụng AI, chatbot hỏi đáp tài liệu và quy trình tự động, tự cài bằng Docker

VừaDockerWebLinuxWindows+1
AI Agent & tự động hoá61K

CrewAI

crewAIInc / crewAI

Dựng đội agent AI theo vai trò (nhà nghiên cứu, người viết...) cùng làm một việc, bằng Python

KhóWindowsmacOSLinuxPython
Giọng nói & âm thanh AI113K

Whisper

openai / whisper

Chuyển giọng nói trong file ghi âm, video thành văn bản ngay trên máy, hỗ trợ nhiều ngôn ngữ

VừaWindowsmacOSLinuxPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Giọng nói & âm thanh AI

Giọng nói & âm thanh AI65,2K

GPT-SoVITS

RVC-Boss / GPT-SoVITS

Nhân bản giọng nói chỉ từ 5 giây âm thanh, hoặc tinh chỉnh với khoảng 1 phút dữ liệu, kèm WebUI đầy đủ

VừaWindowsmacOSLinuxDocker+1
Giọng nói & âm thanh AI57,2K

VibeVoice

microsoft / VibeVoice

Bộ mô hình giọng nói của Microsoft: nhận dạng giọng nói dài 60 phút và đọc văn bản theo thời gian thực

KhóLinuxDockerPython
Giọng nói & âm thanh AI55,2K

whisper.cpp

ggml-org / whisper.cpp

Chạy mô hình nhận dạng giọng nói Whisper của OpenAI ngay trên máy, nhẹ, offline, không cần Python

KhóWindowsmacOSLinuxAndroid+2
Giọng nói & âm thanh AI40K

ChatTTS

2noise / ChatTTS

Mô hình đọc văn bản cho hội thoại, giọng tự nhiên có cả tiếng cười và quãng ngắt nghỉ

KhóWindowsLinuxmacOSPython
Giọng nói & âm thanh AI39,3K

RVC (Retrieval-based Voice Conversion WebUI)

RVC-Project / Retrieval-based-Voice-Conversion-WebUI

Đổi giọng nói thành giọng khác chỉ cần khoảng 10 phút dữ liệu để huấn luyện, có giao diện web

KhóWindowsLinuxPython
Giọng nói & âm thanh AI38,3K

OpenVoice

myshell-ai / OpenVoice

Nhân bản âm sắc giọng nói từ một đoạn mẫu ngắn và cho đọc bằng nhiều ngôn ngữ, giấy phép MIT

KhóLinuxWindowsDockerPython

Xem cả 20 repo Giọng nói & âm thanh AI Về Kho Repo