Chuyển đến nội dung

BerriAI / litellm

LiteLLM

Cổng AI thống nhất: gọi hơn 100 mô hình của OpenAI, Anthropic, Gemini... bằng cùng một định dạng

LiteLLM là thư viện Python và máy chủ trung gian (AI Gateway) cho phép bạn gọi hơn 100 nhà cung cấp mô hình ngôn ngữ như OpenAI, Anthropic, Gemini, Bedrock, Azure bằng chung một kiểu lời gọi giống OpenAI. Nhờ đó đổi mô hình không phải sửa code, đồng thời có thể quản lý khoá API, theo dõi chi phí và giới hạn cho cả đội. Dành cho lập trình viên và đội IT dùng nhiều dịch vụ AI.

  • 63.314 sao
  • 13.306 fork
  • Python
  • Cập nhật hôm nay
  • Giấy phép riêng, xem trên GitHub
Độ khó
Khó Dành cho người biết lập trình
Dạng
Thư viện lập trình, Web tự cài (self-host)
Chạy trên
Windows, macOS, Linux, Docker, Python
Chi phí
Miễn phí, có bản trả phí

Trải nghiệm khi dùng LiteLLM

Có hai cách dùng. Cách nhẹ nhất là dùng như thư viện Python: bạn gọi hàm completion với tên mô hình có tiền tố nhà cung cấp, và đặt API key vào biến môi trường. Muốn đổi từ OpenAI sang Anthropic chỉ cần đổi chuỗi tên mô hình, phần còn lại của code giữ nguyên.

Cách thứ hai là chạy máy chủ LiteLLM Proxy. Bạn khởi động nó trên máy hoặc server, rồi mọi ứng dụng trong công ty trỏ vào địa chỉ của nó thay vì trỏ thẳng vào từng nhà cung cấp. Nó nhận lời gọi theo định dạng OpenAI, chuyển tiếp tới mô hình bạn cấu hình, và có bảng điều khiển để tạo khoá ảo, theo dõi chi tiêu theo người hay dự án.

Khi đã chạy, lập trình viên trong nhóm chỉ cần dùng thư viện OpenAI quen thuộc với base_url trỏ về LiteLLM, không phải giữ khoá thật của từng nhà cung cấp. Quản trị viên thấy ai dùng bao nhiêu và có thể đặt giới hạn.

Tính năng nổi bật

Một định dạng cho hơn 100 nhà cung cấp

Gọi OpenAI, Anthropic, Gemini, Bedrock, Azure và nhiều dịch vụ khác theo cùng kiểu lời gọi OpenAI.

Máy chủ trung gian tự cài

Chạy LiteLLM Proxy làm cổng chung cho cả đội, kèm bảng quản trị.

Khoá ảo và theo dõi chi phí

Tạo khoá riêng cho từng người hay dự án, theo dõi chi tiêu và đặt giới hạn, thay vì chia sẻ khoá thật.

Router có thử lại và dự phòng

Trong SDK có bộ định tuyến thử lại và chuyển sang mô hình khác khi một nơi lỗi hoặc quá tải.

Cân bằng tải và tự chọn mô hình

Có chia tải giữa nhiều bản triển khai và định tuyến tự động chọn mô hình theo độ khó câu hỏi.

Ghi log và tích hợp công cụ quan sát

Hỗ trợ các callback tới các công cụ như Langfuse, MLflow để theo dõi lời gọi.

Tận dụng LiteLLM vào việc gì?

Lập trình viên

Đổi qua lại giữa các mô hình mà không sửa code

Viết ứng dụng một lần rồi thử mô hình của nhiều hãng, hoặc chuyển sang mô hình rẻ hơn khi cần, chỉ bằng thay tên mô hình.

IT nội bộ, doanh nghiệp vừa và nhỏ

Cấp khoá AI cho từng phòng ban

Mỗi phòng có khoá ảo và hạn mức riêng, quản trị viên thấy chi phí theo từng nhóm và không phải phát khoá thật của nhà cung cấp.

Đội phát triển sản phẩm

Giảm gián đoạn khi một dịch vụ AI lỗi

Cấu hình dự phòng để khi một nhà cung cấp lỗi hoặc giới hạn tốc độ, yêu cầu tự chuyển sang nơi khác.

Người làm dự án tự host

Kết nối mô hình chạy trên máy với ứng dụng khác

Đặt LiteLLM phía trước các mô hình tự chạy và dịch vụ online để mọi công cụ dùng chung một địa chỉ.

Cần chuẩn bị gì?

  • Python và công cụ uv hoặc pip để cài.
  • API key của các nhà cung cấp bạn muốn dùng (OpenAI, Anthropic...); LiteLLM không cung cấp mô hình, chỉ đứng giữa.
  • Chạy máy chủ cho cả đội cần thêm cơ sở dữ liệu (README nhắc PostgreSQL và Prometheus khi chạy bản đầy đủ) và nên triển khai bằng Docker.
  • Máy chủ cá nhân vài trăm MB RAM là đủ để thử, nhưng README không nêu mức tối thiểu chính thức.

Hướng dẫn cài đặt chi tiết

Cài trên SDK Python

  1. README dùng uv để cài thư viện Python. Nếu bạn chưa có uv, có thể dùng pip với cùng tên gói.

    Terminal
    uv add litellm
  2. Đặt API key của nhà cung cấp vào biến môi trường (thay bằng khoá thật của bạn) rồi gọi mô hình.

    Python
    import os
    from litellm import completion
    
    os.environ['OPENAI_API_KEY'] = 'YOUR_OPENAI_KEY'
    
    response = completion(
        model='openai/TEN_MO_HINH',
        messages=[{'role': 'user', 'content': 'Xin chào!'}],
    )
    print(response)
  3. Thay TEN_MO_HINH bằng tên mô hình hiện có của nhà cung cấp; danh sách nằm ở docs.litellm.ai/docs/providers.

Cài trên Máy chủ Proxy (AI Gateway)

  1. Cài bản có proxy và khởi động với một mô hình bằng lệnh trong README (thay tên mô hình bằng mô hình bạn dùng, và đặt API key tương ứng trong môi trường).

    Terminal
    uv tool install 'litellm[proxy]'
    litellm --model TEN_MO_HINH
  2. Gọi thử bằng thư viện OpenAI, với base_url trỏ về máy chủ vừa chạy (ví dụ trong README dùng cổng 4000).

    Python
    import openai
    
    client = openai.OpenAI(api_key='anything', base_url='http://0.0.0.0:4000')
    response = client.chat.completions.create(
        model='TEN_MO_HINH',
        messages=[{'role': 'user', 'content': 'Xin chào!'}],
    )
    print(response)

Cài trên Docker Compose (có cơ sở dữ liệu)

  1. Cách này dựng proxy cổng 4000 cùng PostgreSQL, cần để dùng khoá ảo (virtual key) và hạn mức. Tải file compose mẫu chính thức.

    Terminal
    curl -sSLO https://github.com/BerriAI/litellm/raw/main/litellm/deploy/docker/docker-compose.quickstart.yml
  2. Tạo file .env chứa hai khoá ngẫu nhiên. LITELLM_MASTER_KEY là khoá quản trị; LITELLM_SALT_KEY dùng mã hoá khoá nhà cung cấp lưu trong cơ sở dữ liệu. Hãy giữ kỹ LITELLM_SALT_KEY vì docs nói không đổi tại chỗ được, đổi đi thì các credential đã lưu sẽ không đọc lại được.

    Terminal
    printf 'LITELLM_MASTER_KEY=sk-%s\nLITELLM_SALT_KEY=sk-%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
  3. Khởi động.

    Terminal
    docker compose -f docker-compose.quickstart.yml up -d
  4. Mở trang quản trị ở địa chỉ dưới. Tên đăng nhập là admin, mật khẩu là giá trị LITELLM_MASTER_KEY trong file .env. Tại đây bạn thêm mô hình, tạo khoá ảo rồi gọi thử qua cổng 4000.

    Văn bản
    http://localhost:4000/ui

Cài trên Docker (không cơ sở dữ liệu)

  1. Cách gọn nhất để thử. Tạo file litellm_config.yaml khai báo mô hình; api_key lấy từ biến môi trường. TEN_MO_HINH là tên mô hình của nhà cung cấp.

    YAML
    model_list:
      - model_name: TEN_MO_HINH
        litellm_params:
          model: openai/TEN_MO_HINH
          api_key: os.environ/OPENAI_API_KEY
  2. Chạy container. Thay OPENAI_KEY_CUA_BAN bằng khoá thật và sk-CHUOI_NGAU_NHIEN_DAI bằng khoá quản trị do bạn tự đặt. Cổng chỉ mở trên máy cục bộ (127.0.0.1:4000).

    Terminal
    export OPENAI_API_KEY="OPENAI_KEY_CUA_BAN"
    export LITELLM_MASTER_KEY="sk-CHUOI_NGAU_NHIEN_DAI"
    
    docker run \
      -v "$PWD/litellm_config.yaml:/app/config.yaml:ro" \
      -e OPENAI_API_KEY \
      -e LITELLM_MASTER_KEY \
      -p 127.0.0.1:4000:4000 \
      docker.litellm.ai/berriai/litellm:latest \
      --config /app/config.yaml
  3. Trước khi chạy thật, ghim một thẻ phiên bản đã kiểm thử thay cho latest và đọc checklist production của docs.

    Văn bản
    https://docs.litellm.ai/docs/proxy/docker_quick_start

Dùng thử lần đầu

  1. Cài SDK, đặt một API key và chạy hàm completion để thấy câu trả lời trả về.

  2. Đổi tên mô hình sang nhà cung cấp khác (cần có API key tương ứng) và xem cùng đoạn code vẫn chạy.

  3. Khởi động proxy (lệnh litellm hoặc Docker Compose) rồi dùng curl hoặc thư viện OpenAI gọi vào http://localhost:4000.

  4. Nếu dùng Docker Compose, mở http://localhost:4000/ui, đăng nhập bằng admin và LITELLM_MASTER_KEY, tạo khoá ảo đầu tiên và đặt hạn mức.

Mẹo dùng hay

  • Không bao giờ ghi API key thẳng vào file code đưa lên GitHub; dùng biến môi trường hoặc file .env.
  • Khi triển khai cho cả đội, dùng ảnh Docker gắn thẻ stable và ghim phiên bản cụ thể thay vì luôn lấy bản mới nhất.
  • README có hướng dẫn kiểm chứng chữ ký của ảnh Docker bằng cosign; nên làm nếu chạy trong môi trường nghiêm túc.

Lưu ý và hạn chế

  • Giấy phép: phần lõi mã nguồn mở nhưng một số tính năng doanh nghiệp (ví dụ đăng nhập SSO) thuộc Commercial License và cần mua gói Enterprise.
  • Là cổng trung gian, bạn trở thành nơi giữ khoá API của cả đội; phải bảo vệ máy chủ cẩn thận, không mở ra Internet khi chưa có xác thực.
  • Đây vẫn là dịch vụ AI trả phí ở phía sau; LiteLLM không làm mô hình rẻ đi, chỉ giúp theo dõi và quản lý.

Câu hỏi thường gặp

LiteLLM có miễn phí không?

Phần mã nguồn mở dùng miễn phí. Bạn vẫn trả phí cho nhà cung cấp mô hình bạn gọi, và có thêm gói Enterprise trả phí cho tính năng doanh nghiệp.

Dùng được với mô hình chạy trên máy như Ollama không?

README nói hỗ trợ hơn 100 nhà cung cấp; để biết chính xác cách nối với Ollama hay máy chủ cục bộ khác, xem danh sách tại docs.litellm.ai/docs/providers.

Tôi chỉ dùng một dịch vụ AI thì có cần không?

Không cần. LiteLLM hữu ích khi bạn dùng nhiều nhà cung cấp, muốn dự phòng hoặc cần quản lý chi phí và khoá cho nhiều người.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/BerriAI/litellm.git

Repo tương tự nên xem

Thư viện & framework AI150K

LangChain

langchain-ai / langchain

Thư viện Python giúp lập trình viên ráp ứng dụng và agent chạy bằng AI từ các mảnh ghép dựng sẵn

KhóPython
Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Trợ lý & chat AI159K

Open WebUI

open-webui / open-webui

Giao diện chat AI kiểu ChatGPT tự cài trên máy của bạn, nối được với Ollama và các API AI khác

VừaDockerPythonWindowsmacOS+1

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Thư viện & framework AI

Thư viện & framework AI202K

TensorFlow

tensorflow / tensorflow

Nền tảng học máy của Google để xây, huấn luyện và triển khai mô hình AI bằng Python

KhóWindowsmacOSLinuxDocker+1
Thư viện & framework AI169K

Hugging Face Transformers

huggingface / transformers

Thư viện Python để tải và chạy hàng triệu mô hình AI từ Hugging Face chỉ với vài dòng code

KhóWindowsmacOSLinuxPython
Thư viện & framework AI106K

PyTorch

pytorch / pytorch

Thư viện học sâu phổ biến nhất giới nghiên cứu, tính toán tensor trên GPU và huấn luyện mạng nơ-ron

KhóWindowsmacOSLinuxDocker+1
Thư viện & framework AI91,6K

OpenCV

opencv / opencv

Thư viện thị giác máy tính kinh điển: xử lý ảnh, video, nhận diện khuôn mặt, vật thể

KhóWindowsmacOSLinuxAndroid+2
Thư viện & framework AI79,6K

Unsloth

unslothai / unsloth

Ứng dụng chạy và tinh chỉnh mô hình AI trên máy mình, tiết kiệm VRAM và nhanh hơn

VừaWindowsmacOSLinuxDocker+1
Thư viện & framework AI76,1K

LLaMA-Factory

hiyouga / LlamaFactory

Tinh chỉnh hơn 100 mô hình ngôn ngữ qua giao diện web hoặc dòng lệnh, gần như không cần viết code

KhóWindowsLinuxDockerPython

Xem cả 14 repo Thư viện & framework AI Về Kho Repo