统一大模型接口网关（LLM API Gateway / Token 中转站）

技术信息

作品详情

行业场景

支持 30+ 大模型供应商的统一 API 网关，一套接口兼容 OpenAI/Anthropic/Google/国产大模型等全部主流 LLM，内置 Token 用量统计、多 Key 轮询负载均衡、API Key 管理与计费系统。

功能介绍

【核心功能】
1. 多模型统一接入：30+ 大模型供应商一键接入（OpenAI / Claude / Gemini / 通义千问 / 智谱 / 月之暗面 / DeepSeek / 百川 / MiniMax 等），OpenAI 兼容协议，改一行 base_url 即可切换
2. Token 中转与管理：统一 API Key 分发，后端自动路由到不同供应商；支持多 Key 池轮询、负载均衡、故障自动切换
3. 用量监控与计费：实时 Token 消耗统计、按用户/Key 维度追踪用量、费用预算控制与告警
4. 控制台管理：Web 可视化后台，支持渠道管理 / 用户管理 / 日志审计 / 令牌分发
5. 高可用设计：请求重试、超时控制、速率限制、缓存层优化

【技术架构】
- 后端：Python/FastAPI（或 Go）+ Redis（缓存/限流/队列）
- 前端：React + Ant Design（管理后台）
- 数据库：MySQL/PostgreSQL（用量日志 / 用户数据）
- 部署：Docker 容器化 + Nginx 反向代理 + 阿里云 ECS
- 已上线运行：http://xiongpeng.cyou

项目实现

【亮点1 - 直接解决企业痛点】
企业在用多个大模型时面临"每个模型一套SDK、每家一个账单、Key散落各处"的混乱。本网关实现"一个API Key管所有模型"，大幅降低接入和维护成本。

【亮点2 - 与农行项目一脉相承】
该网关的设计思路直接源于在农行Multi-Agent项目中遇到的Token成本管控需求——将Context Budget Controller的理念从应用层下沉到网关层，实现更底层的成本控制。

【亮点3 - 生产级可靠性】
非Demo项目，已部署至阿里云并对外提供服务。具备多Key轮询（避免单Key限额）、故障自动切换（某供应商宕机时无缝降级）、请求级日志追踪（方便排查问题）。

【亮点4 - 商业价值清晰】
Token中转是AI基础设施赛道中变现路径最清晰的品类之一（参考one-api/new-api生态），可作为独立产品或企业内部工具两种形态交付。