API 中转与计量服务产品系统

我要开发同款
肀墨2026年10月28日
9阅读

技术信息

语言技术
Python、Shell、HTTP
系统类型
Web、Windows
行业分类
企业服务、云计算

作品详情

行业场景

面向要把大模型能力接进自建系统的团队。客户手里常有多家上游接口,调用分散、没有配额管理、用量靠手工统计。转发层统一了入口:按 key 分配额度、按 token 计量、支持流式返回,单文件数据库、零依赖部署。

功能介绍

请求转发:兼容 OpenAI 与 Anthropic 两种格式,支持流式返回;2) 鉴权:客户端用平台分配的 key,校验不过直接拒绝;3) 计量:按模型价格表算出每次调用的输入、输出 token 费用并落库;4) 限额:超额返回 402;5) 后台:网页建客户、看用量。零依赖,一个进程加一个单文件数据库就能跑。

项目实现

用 Node.js 单进程实现:收到请求先校验客户端 key、查 SQLite 里的客户和已用额度;通过后按上游配置拼地址(自动处理带不带 /v1)、透传请求头,流式响应边转发边解析 SSE,结束时汇总 token 写账单;后台是一个内嵌 HTML 页,提供建客户、看用量两个操作。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论