大型 AI 网关平台产品系统

企业落地大模型应用时，往往要同时接入多个模型厂商与多个模型，接口协议不统一，单个供应商故障会拖垮业务，用量计量不清导致成本失控，限流与 SLA 也难以保障。统一 AI 网关把模型接入、路由、治理与计量收敛到一处，为上层 AI 应用提供稳定、可观测、可计费的模型调用入口，面向多模型、多供应商的大规模生产场景。

统一大模型网关，面向多模型、多供应商场景：OpenAI 兼容 API 接入；模型路由与供应商路由、负载均衡、故障转移；限流、重试、SLA 与计量；针对高并发 AI 请求优化数据面，包括连接复用、流式（SSE）传输、超时与并发控制；可观测性覆盖请求链路与 Token 用量；生产环境峰值 Token 流量超过 1 亿/天。

由我主导核心架构与数据面设计：多供应商协议适配、路由与流量治理、高并发低延迟优化；基于日志、Metrics 与 pprof 搭建线上定位体系；K8s/Docker 部署与灰度运维。主力语言 Go，配套 Python 脚本，全程保障生产稳定性。