全球免费Token聚合产品系统

我要开发同款
老戴20802026年10月08日
5阅读

技术信息

语言技术
Java、CSS、Vue、React、TypeScript
系统类型
Windows、Web、H5
行业分类
人工智能、工业互联网

作品详情

行业场景

本项目名为「全球免费Token聚合」,是一款将全球34家免费大模型提供方的
免费额度(合计每月约74亿词元、635个免费模型端点)聚合为单一OpenAI兼容API的服务平台。

功能介绍

1. 智能路由系统:实时根据模型速度、稳定性、能力评分自动挑选最优提供方,遇到
429/5xx限流时自动故障转移至下一家,支持六种路由策略(auto/fast/smart等)。
2. 多模态API聚合:统一支持 /v1/chat/completions、/v1/embeddings、/v1/images/generations、
/v1/audio/speech、/v1/responses 等OpenAI全部接口,同时兼容Anthropic Messages API、
Gemini原生API及Ollama模拟接口。
3. 管理仪表盘:基于React的管理后台,包含模型管理、密钥加密存储、链路顺序调整、
试验台(Playground)、24小时至90天窗口的用量分析图表等模块。
4. Fusion多模型合成:将提示词并行分发给多个风格各异的免费模型,再由评审模型
合成最佳答案。
5. 自更新模型目录:每日两次从签名源同步新模型、额度变更和兼容性修复,无需
手动更新代码。
6. 密钥健康检查与限流跟踪:以(平台,模型,密钥)为单位的RPM/RPD/TPM/TPD计数器,
学习提供方上限,确保路由不越线;密钥以AES-256-GCM加密存储于SQLite中。
7. 多语言支持:仪表盘支持60种语言界面,桌面端支持6种语言,RTL语言自动翻转布局。
8. 桌面应用:基于Electron的原生菜单栏应用,带玻璃质感悬浮窗实时显示请求统计。

项目实现

技术栈
- 后端:Node.js 20+ + Express 5 + TypeScript 5.8 + SQLite (better-sqlite3)
- 前端:React 19 + TypeScript 6 + Tailwind CSS 4 + Vite 8 + React Router 7
- 状态管理:TanStack React Query 5
- 图表:Recharts
- 拖拽排序:@dnd-kit
- 测试:Vitest(服务端单元测试覆盖路由、限流、密钥管理等核心模块)
- 构建工具:tsx、concurrently(monorepo 多工作区管理)
- 桌面端:Electron + 预加载脚本 + 玻璃质感悬浮窗
架构设计
- Monorepo 结构:shared(类型共享)、server(API服务)、client(仪表盘前端)、
cli(命令行工具,含setup配置生成器和启动器)
- 分层路由设计:请求 → 限流检查 → 模型评分排序 → 密钥解密 → 上游调用 →
失败冷却/重试 → 响应聚合
- 数据层:SQLite存储加密密钥、模型目录、用量统计、日志;支持数据库迁移和
加密备份
- 安全设计:密钥AES-256-GCM加密、CSP安全头、SSRF防护、错误信息脱敏、
URL令牌鉴权
实现亮点与难点
1. 智能路由算法:基于实时速度评分、稳定性历史、能力匹配度的多因子排序模型,
结合限流预测和密钥轮换策略,实现零人工干预的自动故障转移。
2. 多协议兼容层:在统一路由之上同时支持OpenAI、Anthropic、Gemini、Ollama
四种协议格式,包括流式响应的适配和工具调用的跨提供方往返。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论