Trải nghiệm khi dùng LiteLLM
Có hai cách dùng. Cách nhẹ nhất là dùng như thư viện Python: bạn gọi hàm completion với tên mô hình có tiền tố nhà cung cấp, và đặt API key vào biến môi trường. Muốn đổi từ OpenAI sang Anthropic chỉ cần đổi chuỗi tên mô hình, phần còn lại của code giữ nguyên.
Cách thứ hai là chạy máy chủ LiteLLM Proxy. Bạn khởi động nó trên máy hoặc server, rồi mọi ứng dụng trong công ty trỏ vào địa chỉ của nó thay vì trỏ thẳng vào từng nhà cung cấp. Nó nhận lời gọi theo định dạng OpenAI, chuyển tiếp tới mô hình bạn cấu hình, và có bảng điều khiển để tạo khoá ảo, theo dõi chi tiêu theo người hay dự án.
Khi đã chạy, lập trình viên trong nhóm chỉ cần dùng thư viện OpenAI quen thuộc với base_url trỏ về LiteLLM, không phải giữ khoá thật của từng nhà cung cấp. Quản trị viên thấy ai dùng bao nhiêu và có thể đặt giới hạn.
Tính năng nổi bật
Một định dạng cho hơn 100 nhà cung cấp
Gọi OpenAI, Anthropic, Gemini, Bedrock, Azure và nhiều dịch vụ khác theo cùng kiểu lời gọi OpenAI.
Máy chủ trung gian tự cài
Chạy LiteLLM Proxy làm cổng chung cho cả đội, kèm bảng quản trị.
Khoá ảo và theo dõi chi phí
Tạo khoá riêng cho từng người hay dự án, theo dõi chi tiêu và đặt giới hạn, thay vì chia sẻ khoá thật.
Router có thử lại và dự phòng
Trong SDK có bộ định tuyến thử lại và chuyển sang mô hình khác khi một nơi lỗi hoặc quá tải.
Cân bằng tải và tự chọn mô hình
Có chia tải giữa nhiều bản triển khai và định tuyến tự động chọn mô hình theo độ khó câu hỏi.
Ghi log và tích hợp công cụ quan sát
Hỗ trợ các callback tới các công cụ như Langfuse, MLflow để theo dõi lời gọi.
Tận dụng LiteLLM vào việc gì?
Lập trình viên
Đổi qua lại giữa các mô hình mà không sửa code
Viết ứng dụng một lần rồi thử mô hình của nhiều hãng, hoặc chuyển sang mô hình rẻ hơn khi cần, chỉ bằng thay tên mô hình.
IT nội bộ, doanh nghiệp vừa và nhỏ
Cấp khoá AI cho từng phòng ban
Mỗi phòng có khoá ảo và hạn mức riêng, quản trị viên thấy chi phí theo từng nhóm và không phải phát khoá thật của nhà cung cấp.
Đội phát triển sản phẩm
Giảm gián đoạn khi một dịch vụ AI lỗi
Cấu hình dự phòng để khi một nhà cung cấp lỗi hoặc giới hạn tốc độ, yêu cầu tự chuyển sang nơi khác.
Người làm dự án tự host
Kết nối mô hình chạy trên máy với ứng dụng khác
Đặt LiteLLM phía trước các mô hình tự chạy và dịch vụ online để mọi công cụ dùng chung một địa chỉ.
Cần chuẩn bị gì?
- Python và công cụ uv hoặc pip để cài.
- API key của các nhà cung cấp bạn muốn dùng (OpenAI, Anthropic...); LiteLLM không cung cấp mô hình, chỉ đứng giữa.
- Chạy máy chủ cho cả đội cần thêm cơ sở dữ liệu (README nhắc PostgreSQL và Prometheus khi chạy bản đầy đủ) và nên triển khai bằng Docker.
- Máy chủ cá nhân vài trăm MB RAM là đủ để thử, nhưng README không nêu mức tối thiểu chính thức.
Hướng dẫn cài đặt chi tiết
Cài trên SDK Python
README dùng uv để cài thư viện Python. Nếu bạn chưa có uv, có thể dùng pip với cùng tên gói.
uv add litellmĐặt API key của nhà cung cấp vào biến môi trường (thay bằng khoá thật của bạn) rồi gọi mô hình.
import os from litellm import completion os.environ['OPENAI_API_KEY'] = 'YOUR_OPENAI_KEY' response = completion( model='openai/TEN_MO_HINH', messages=[{'role': 'user', 'content': 'Xin chào!'}], ) print(response)Thay TEN_MO_HINH bằng tên mô hình hiện có của nhà cung cấp; danh sách nằm ở docs.litellm.ai/docs/providers.
Cài trên Máy chủ Proxy (AI Gateway)
Cài bản có proxy và khởi động với một mô hình bằng lệnh trong README (thay tên mô hình bằng mô hình bạn dùng, và đặt API key tương ứng trong môi trường).
uv tool install 'litellm[proxy]' litellm --model TEN_MO_HINHGọi thử bằng thư viện OpenAI, với base_url trỏ về máy chủ vừa chạy (ví dụ trong README dùng cổng 4000).
import openai client = openai.OpenAI(api_key='anything', base_url='http://0.0.0.0:4000') response = client.chat.completions.create( model='TEN_MO_HINH', messages=[{'role': 'user', 'content': 'Xin chào!'}], ) print(response)
Cài trên Docker Compose (có cơ sở dữ liệu)
Cách này dựng proxy cổng 4000 cùng PostgreSQL, cần để dùng khoá ảo (virtual key) và hạn mức. Tải file compose mẫu chính thức.
curl -sSLO https://github.com/BerriAI/litellm/raw/main/litellm/deploy/docker/docker-compose.quickstart.ymlTạo file .env chứa hai khoá ngẫu nhiên. LITELLM_MASTER_KEY là khoá quản trị; LITELLM_SALT_KEY dùng mã hoá khoá nhà cung cấp lưu trong cơ sở dữ liệu. Hãy giữ kỹ LITELLM_SALT_KEY vì docs nói không đổi tại chỗ được, đổi đi thì các credential đã lưu sẽ không đọc lại được.
printf 'LITELLM_MASTER_KEY=sk-%s\nLITELLM_SALT_KEY=sk-%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .envKhởi động.
docker compose -f docker-compose.quickstart.yml up -dMở trang quản trị ở địa chỉ dưới. Tên đăng nhập là admin, mật khẩu là giá trị LITELLM_MASTER_KEY trong file .env. Tại đây bạn thêm mô hình, tạo khoá ảo rồi gọi thử qua cổng 4000.
http://localhost:4000/ui
Cài trên Docker (không cơ sở dữ liệu)
Cách gọn nhất để thử. Tạo file litellm_config.yaml khai báo mô hình; api_key lấy từ biến môi trường. TEN_MO_HINH là tên mô hình của nhà cung cấp.
model_list: - model_name: TEN_MO_HINH litellm_params: model: openai/TEN_MO_HINH api_key: os.environ/OPENAI_API_KEYChạy container. Thay OPENAI_KEY_CUA_BAN bằng khoá thật và sk-CHUOI_NGAU_NHIEN_DAI bằng khoá quản trị do bạn tự đặt. Cổng chỉ mở trên máy cục bộ (127.0.0.1:4000).
export OPENAI_API_KEY="OPENAI_KEY_CUA_BAN" export LITELLM_MASTER_KEY="sk-CHUOI_NGAU_NHIEN_DAI" docker run \ -v "$PWD/litellm_config.yaml:/app/config.yaml:ro" \ -e OPENAI_API_KEY \ -e LITELLM_MASTER_KEY \ -p 127.0.0.1:4000:4000 \ docker.litellm.ai/berriai/litellm:latest \ --config /app/config.yamlTrước khi chạy thật, ghim một thẻ phiên bản đã kiểm thử thay cho latest và đọc checklist production của docs.
https://docs.litellm.ai/docs/proxy/docker_quick_start
Dùng thử lần đầu
Cài SDK, đặt một API key và chạy hàm completion để thấy câu trả lời trả về.
Đổi tên mô hình sang nhà cung cấp khác (cần có API key tương ứng) và xem cùng đoạn code vẫn chạy.
Khởi động proxy (lệnh litellm hoặc Docker Compose) rồi dùng curl hoặc thư viện OpenAI gọi vào http://localhost:4000.
Nếu dùng Docker Compose, mở http://localhost:4000/ui, đăng nhập bằng admin và LITELLM_MASTER_KEY, tạo khoá ảo đầu tiên và đặt hạn mức.
Mẹo dùng hay
- Không bao giờ ghi API key thẳng vào file code đưa lên GitHub; dùng biến môi trường hoặc file .env.
- Khi triển khai cho cả đội, dùng ảnh Docker gắn thẻ stable và ghim phiên bản cụ thể thay vì luôn lấy bản mới nhất.
- README có hướng dẫn kiểm chứng chữ ký của ảnh Docker bằng cosign; nên làm nếu chạy trong môi trường nghiêm túc.
Lưu ý và hạn chế
- Giấy phép: phần lõi mã nguồn mở nhưng một số tính năng doanh nghiệp (ví dụ đăng nhập SSO) thuộc Commercial License và cần mua gói Enterprise.
- Là cổng trung gian, bạn trở thành nơi giữ khoá API của cả đội; phải bảo vệ máy chủ cẩn thận, không mở ra Internet khi chưa có xác thực.
- Đây vẫn là dịch vụ AI trả phí ở phía sau; LiteLLM không làm mô hình rẻ đi, chỉ giúp theo dõi và quản lý.
Câu hỏi thường gặp
LiteLLM có miễn phí không?
Phần mã nguồn mở dùng miễn phí. Bạn vẫn trả phí cho nhà cung cấp mô hình bạn gọi, và có thêm gói Enterprise trả phí cho tính năng doanh nghiệp.
Dùng được với mô hình chạy trên máy như Ollama không?
README nói hỗ trợ hơn 100 nhà cung cấp; để biết chính xác cách nối với Ollama hay máy chủ cục bộ khác, xem danh sách tại docs.litellm.ai/docs/providers.
Tôi chỉ dùng một dịch vụ AI thì có cần không?
Không cần. LiteLLM hữu ích khi bạn dùng nhiều nhà cung cấp, muốn dự phòng hoặc cần quản lý chi phí và khoá cho nhiều người.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/BerriAI/litellm.gitRepo tương tự nên xem
LangChain
langchain-ai / langchain
Thư viện Python giúp lập trình viên ráp ứng dụng và agent chạy bằng AI từ các mảnh ghép dựng sẵn
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
Open WebUI
open-webui / open-webui
Giao diện chat AI kiểu ChatGPT tự cài trên máy của bạn, nối được với Ollama và các API AI khác