立项原因：企业接入的大模型越来越多，密钥散落在各业务代码里、调用成本无法分摊、上游故障直接传导到业务，且通用网关产品多为共享多租户架构，难以满足数据不出内网的合规要求——因此立项做一个部署在客户内网、只做转发的私有化网关，把“管不住”的调用统一收口。
行业场景：面向金融、政企、制造等对数据主权和合规有硬性要求、已接入或正计划接入多家大模型（OpenAI 兼容协议 / Anthropic 协议）的企业客户，解决 AI 调用治理中的密钥安全、成本核算、稳定性与供应商切换四大共性痛点。
业务场景：研发部门按成本价走低价模型自用运维；对外业务线按报价加成独立核算；集团型客户为每家子公司交付独立实例、按分组并行执行不同结算标准。网关不托管模型、不解析业务载荷，只完成鉴权、计量与选路，请求原样上行、结果原样返回。
一个内网地址统一接入企业全部大模型调用：支持 OpenAI 兼容与 Anthropic 原生协议并列接入，请求原样透传、结果原样返回，流式响应边收边发；内置凭据加密存储、按密钥/接口/业务方的令牌桶限流，渠道健康探测与故障转移（异常自动摘除、恢复自动回切）；按分组计量计费，支持研发成本价、业务线报价加成、项目折扣倍率等不同结算标准并行核算；额度采用预留+结算两段式，防并发超卖；全链路日志可审计。一客户一套独立实例，不托管模型、不解析业务载荷、默认零外部遥测。
服务端采用 Go 语言从零自研，数据层使用 PostgreSQL（兼容 MySQL），单二进制交付、内置前端静态资源（go:embed）。核心实现：转发链路按“鉴权 → 限流 → 计量预留 → 选路 → 透传上行 → 结算”九步处理，请求体原样转发、流式响应边收边发；金额以整数微额（1e-6 元）存储杜绝浮点误差，额度采用“预留 + 结算”两段式防并发超卖；限流用令牌桶算法，渠道健康探测支持异常摘除与自动回切；上游凭据 AES 加密存储、查看需二次验证；默认零外部遥测，无需开放入站端口。交付形态为一客户一套独立实例：离线镜像 + load-and-run 一键部署，30 分钟内无需厂商介入即可完成部署上线。
评论