LiteLLM网关计费集成产品系统Vibe Coding

我要开发同款
周断2026年11月16日
6阅读

技术信息

语言技术
Java、Python、SQLite、HTML5、CSS
系统类型
Web
行业分类
人工智能

作品详情

行业场景

面向由多个企业租户共用的大模型调用平台。接入多种模型后,业务侧需要在请求转发前确认租户身份和可用余额,并在调用结束后取得用量和成本明细。项目将网关与现有 Java 计费系统对接,使鉴权、调用和消费记录能够按组织关联。

功能介绍

网关集成企业单点登录,校验业务系统签发的身份令牌,并将组织与网关团队及密钥关联。模型调用前查询对应组织的账户余额,余额不足时拦截请求。模型调用完成后,将用量、费用和调用信息推送至业务计费系统,并将调用记录保存到 PostgreSQL,方便按组织查询和对账。支持联合部署和独立部署配置,附带计费与鉴权测试用例。

项目实现

负责 LiteLLM Proxy 的计费集成模块,设计与 Java 计费服务的接口,开发 JWT 校验、调用前余额检查、调用后消费回调和记录入库。利用 FastAPI 网关的请求生命周期和 LiteLLM 回调机制接入业务逻辑,并编写单元测试和模拟 Java 服务的集成测试,覆盖异常和租户隔离场景。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论