面向要把大模型能力接进自建系统的团队。客户手里常有多家上游接口,调用分散、没有配额管理、用量靠手工统计。转发层统一了入口:按 key 分配额度、按 token 计量、支持流式返回,单文件数据库、零依赖部署。
点击空白处退出提示
面向要把大模型能力接进自建系统的团队。客户手里常有多家上游接口,调用分散、没有配额管理、用量靠手工统计。转发层统一了入口:按 key 分配额度、按 token 计量、支持流式返回,单文件数据库、零依赖部署。
请求转发:兼容 OpenAI 与 Anthropic 两种格式,支持流式返回;2) 鉴权:客户端用平台分配的 key,校验不过直接拒绝;3) 计量:按模型价格表算出每次调用的输入、输出 token 费用并落库;4) 限额:超额返回 402;5) 后台:网页建客户、看用量。零依赖,一个进程加一个单文件数据库就能跑。
用 Node.js 单进程实现:收到请求先校验客户端 key、查 SQLite 里的客户和已用额度;通过后按上游配置拼地址(自动处理带不带 /v1)、透传请求头,流式响应边转发边解析 SSE,结束时汇总 token 写账单;后台是一个内嵌 HTML 页,提供建客户、看用量两个操作。



评论