面向由多个企业租户共用的大模型调用平台。接入多种模型后,业务侧需要在请求转发前确认租户身份和可用余额,并在调用结束后取得用量和成本明细。项目将网关与现有 Java 计费系统对接,使鉴权、调用和消费记录能够按组织关联。
点击空白处退出提示
面向由多个企业租户共用的大模型调用平台。接入多种模型后,业务侧需要在请求转发前确认租户身份和可用余额,并在调用结束后取得用量和成本明细。项目将网关与现有 Java 计费系统对接,使鉴权、调用和消费记录能够按组织关联。
网关集成企业单点登录,校验业务系统签发的身份令牌,并将组织与网关团队及密钥关联。模型调用前查询对应组织的账户余额,余额不足时拦截请求。模型调用完成后,将用量、费用和调用信息推送至业务计费系统,并将调用记录保存到 PostgreSQL,方便按组织查询和对账。支持联合部署和独立部署配置,附带计费与鉴权测试用例。
负责 LiteLLM Proxy 的计费集成模块,设计与 Java 计费服务的接口,开发 JWT 校验、调用前余额检查、调用后消费回调和记录入库。利用 FastAPI 网关的请求生命周期和 LiteLLM 回调机制接入业务逻辑,并编写单元测试和模拟 Java 服务的集成测试,覆盖异常和租户隔离场景。



评论