LiteLLM深度评测：6.2万星AI网关，100+厂商一个接口

📌 评测对象：BerriAI/litellm | 星数：62,439（2026-11-05）| 协议：MIT | 形态：Python SDK + Proxy网关

📋 项目简介

多厂商时代的碎片化之痛：Anthropic一种SDK、Gemini一种、Bedrock又一种——换厂商=改代码，混用=写胶水。LiteLLM（BerriAI，YC孵化）用一句话解决：用OpenAI同款格式调用100+家LLM厂商。两种形态：Python SDK（litellm包，库内调用）和 Proxy Server（自托管AI网关，HTTP服务化——团队级的路由、故障转移、负载均衡、预算管控、用量追踪、密钥管理全在里面）。

它回答的问题和 Folkbench（中转实测）、Grandet（比价） 同源但更深一层：不只是"选哪家"，而是"选了之后怎么管"。

📊 八维度评分：8.9 / 10

🔍 双形态怎么选

📦 快速上手

pip install litellm

from litellm import completion
# 100+厂商同一格式，换模型=换字符串
resp = completion(model="gpt-5", messages=[{"role": "user", "content": "你好"}])
resp = completion(model="anthropic/claude-opus-4", messages=[...])
resp = completion(model="gemini/gemini-3", messages=[...])

# 网关模式（自托管）
docker run -p 4000:4000 ghcr.io/berriai/litellm:main
# 应用全指向 http://localhost:4000 —— 路由/故障转移/预算在网关配置

✅ 总结：适合谁用

推荐：同时用2家以上厂商的团队（故障转移+负载均衡刚需）；要给多项目/多团队统一计费与密钥管理的平台组；想避免厂商锁定的谨慎派。

不建议：单一厂商用户（多一层抽象无收益）；对Proxy形态的一跳延迟极度敏感的低延迟场景（直接用SDK）。

综合评分 8.9/10：LiteLLM 是多厂商时代的基础设施标配——它把"换厂商"从一个工程任务变成改一个字符串，把"团队用AI"从散装脚本变成有预算、有追踪、有故障转移的可运营系统。迭代快、偶有breaking是唯一的代价——锁好版本，放心上。