LiteLLM 这两年越来越常出现在团队架构图里,不是因为它能替代 ChatGPT 或 Dify,而是因为它刚好卡在一个很现实的位置上:帮团队把一堆不同厂商、不同协议、不同计费口径的模型服务收进一个统一入口。你可以把它理解成大模型时代的“接入层”和“路由层”。
官方仓库:https://github.com/BerriAI/litellm
它最适合解决什么问题
- 团队要同时接 OpenAI、Anthropic、Gemini、Azure、开源推理服务,不想每个应用都各写一套适配。
- 你需要在模型之间做 fallback、路由、限额、日志和成本观察。
- 你已经有自己的前端、Agent 或工作流层,只缺一个统一模型入口。
为什么它不是“人人都该装”的项目
LiteLLM 很强,但它不是最终应用,也不是现成产品界面。它更像基础设施组件,价值在系统层,而不在用户界面层。所以如果你只是个人本地玩模型,它会显得偏工程;可一旦进入团队协作、多模型切换、预算治理和服务稳定性这些问题,它的存在感会迅速变强。
值不值得部署
如果你已经感受到“模型越来越多,接入越来越乱”,LiteLLM 很值得看;如果你连第一条产品链路都还没跑通,先把应用本身做出来通常更重要。它的核心价值不是让 AI 更聪明,而是让多模型系统更可控。